OpenAI 发布两款开放权重 AI 推理模型

  当地时间 8 月 5 日，OpenAI 宣布发布两款开放权重 AI 推理模型 ——GPT-oss-120b 和 GPT-oss-20b，这也是自 2019 年发布 GPT-2以来，OpenAI 首次推出新的 “开源” 大语言模型。

  OpenAI 首席执行官山姆・奥特曼在社交媒体上表示：“GPT-oss 是一个重大突破，这是最先进的开放权重推理模型，具有与 o4-mini 相当的强大现实世界性能，可以在你自己的电脑（或手机的较小版本）上本地运行。”

  据悉，参数达到 1170 亿的 GPT-oss-120b 功能更强，可由单个英伟达专业数据中心 GPU 驱动；参数为 210 亿的 GPT-oss-20b 模型，则能够在配备 16GB 内存的消费级笔记本电脑上运行。

  OpenAI 表示，两款模型都采用了其最先进的预训练和后训练技术，特别注重推理、效率和跨部署环境的实用性。它们都是使用专家混合（MoE）架构的 Transformer，以减少处理输入所需的活跃参数数量。

  GPT-oss-120b 每个 token 激活 5.1 亿参数，总参数量为 1170 亿；GPT-oss-20b 激活 36 亿参数，总参数量为 210 亿。模型使用交替的密集和局部带状稀疏注意力模式，支持高达 128k 的上下文长度。

  OpenAI 称 GPT-oss-20b 是一款中型开放模型，GPT-oss-120b 则是可在 “大多数台式机和笔记本电脑” 上运行的大型开放模型。

  在性能评估方面，OpenAI 披露，GPT-oss-120b 在核心推理基准测试中接近 OpenAI o4-mini 的表现。较小的 GPT-oss-20b 模型在相同评估中达到或超过 OpenAI o3-mini 的性能。

  值得注意的是，相较 o3 和 o4-mini 模型，两款开放模型也会出现更多的幻觉。OpenAI 解释称，由于较小的模型拥有的世界知识比大型前沿模型少，所以更容易产生幻觉也在意料之中。在 OpenAI 内部用于衡量模型对人物知识准确性的 PersonQA 基准测试中，GPT-oss-120b 和 GPT-oss-20b 分别对 49% 和 53% 的问题产生幻觉，达到 o1 模型的 3 倍多，也高于 o4-mini 模型的 36%。

  此外，这两款模型都以宽松的 Apache 2.0 许可证发布，企业在商用前无需付费或获得许可。