35B 干翻 397B?Ornith-1.0 的惊人跑分背后,是真突破还是又一次 benchmaxxing

一个让人想揉眼睛的数字

2026 年 6 月 25 日,一个名叫 DeepReinforce 的团队丢出了开源模型 Ornith-1.0,附带的跑分表里藏着一个反常识的数字:仅有 350 亿参数的 Ornith-1.0-35B,在 Terminal-Bench 2.1 上拿到 64.4 分,超过了参数量足足大 11 倍的 Qwen 3.5-397B(53.5 分)。

更刺激的还在后面。旗舰版 Ornith-1.0-397B 在 SWE-Bench Verified 上报出 82.4 分、Terminal-Bench 2.1 上 77.5 分,两项都压过了 Claude Opus 4.7(80.8 / 70.3)。一个 MIT 许可、可以随便下载商用的开源模型,在编程基准上盖过了几个月前还是闭源天花板的 Claude——这要是真的,那是大新闻。

但 X(推特)上的反应,比跑分表冷静得多。有人留言"smells like benchmaxxing"(一股刷榜味),有人直言"almost all engagement with this seems synthetic"(互动数据看着像刷的),还有 DeepSeek 的资深观察者 Teortaxes 公开表示怀疑:"Qwen 3.5 base 凭什么这么轻松就逼近甚至超过 GLM 5.2?在严肃的人上手测过之前,我保留怀疑。"

所以这篇文章想做一件事:把 Ornith-1.0 的技术真章、它的跑分、以及围绕它的质疑,全部摊开。 同时把它和当下最值得关注的几个对手——Qwen 3.5、Gemma 4、DeepSeek V4、GLM 5.2、Claude Opus 4.8、GPT-5.5——逐项对齐,看看这个"35B 干翻 397B"的故事,到底有几分可信。


Ornith-1.0 是谁做的,凭什么值得看

先说出身。DeepReinforce 不是无名之辈。这个团队此前最出名的工作是 CUDA-L1:用一套对比强化学习(Contrastive RL)框架,让 LLM 自动优化 CUDA kernel,在 KernelBench 的 250 个真实 GPU 任务上拿到平均 3.12× 加速、峰值 120× 加速,而且代码开源、结果可复现。后续还有针对 HGEMM 矩阵乘法的 CUDA-L2。

换句话说,这是一支把"用 RL 把大模型逼成某个专项高手"当作看家本领的团队。Ornith-1.0 延续的正是这条路线,只不过这次的"专项"从 CUDA 优化换成了更通用的 agentic coding(智能体编程)。

Ornith-1.0 不是一个模型,而是一个家族,全部基于 Gemma 4 和 Qwen 3.5 的预训练权重做后训练(post-training),全系采用 MIT 许可证:

型号 架构 定位 发布状态
Ornith-1.0-9B Dense 边缘设备 / 本地部署 ✅ 已开源(含 GGUF)
Ornith-1.0-31B Dense 单卡工作站 ⏳ 官方宣告但尚未上架
Ornith-1.0-35B MoE 性能与效率平衡 ✅ 已开源(含 GGUF / FP8)
Ornith-1.0-397B MoE(约 17B 激活) 前沿规模 ✅ 已开源(含 FP8)

需要提醒的是:官方技术博客把家族正式描述为"9B Dense、31B Dense、35B MoE、397B MoE"四个型号,31B Dense 是官方明确列出的家族成员、并非空穴来风。但截至发稿,Hugging Face 上实际同步开源的只有 9B、35B、397B 三个(及各自的量化版本),31B Dense 尚未放出。X 上已有用户当场追问"31b dense 去哪了"。所以现阶段它属于"官方已宣告、但发布时未同步开源"的型号,想用的人还得再等等。这种"宣告的比放出的多"的小细节,本身也是评估一次发布成色时值得留心的地方。

这里有个关键事实要先记住:Ornith 是站在 Gemma 4 和 Qwen 3.5 的肩膀上做的后训练,它本身并没有从零预训练一个底座。所以它跑分的对照组里,"超过 Qwen 3.5-397B"这种说法,本质是"我用 RL 后训练,把同源底座的能力又往上拉了一截"。这既是它最大的卖点,也是质疑声的来源——后面会展开。


核心创新:让模型自己设计"工作流"

Ornith-1.0 真正有意思的地方,不在跑分,而在它的训练方法。论文里叫 Self-Scaffolding(自搭脚手架),我觉得这是 2026 年 agentic coding 方向里少见的、有原创性的想法。

什么是"脚手架"

做过 AI 编程 Agent 的人都知道,模型本身的"智商"只是一半,另一半是 harness(驱动框架)/ scaffold(脚手架):怎么规划任务、怎么管理记忆、怎么处理报错、怎么调用工具、什么时候重试。同一个模型,套不同的脚手架,SWE-bench 分数能差出十几个点。我们在《Agent 的隐形另一半:Harness 工程》里专门聊过这件事。

过去的做法是:人工精心设计一套脚手架,然后用它去驱动模型做强化学习。脚手架是固定的、人写的。

Ornith 的做法:脚手架也让模型自己学

Ornith-1.0 把脚手架本身变成了一个可学习的对象,让它和模型策略一起进化。每个 RL 训练步分两个阶段:

最后,解题的奖励信号会同时回传给两个阶段。这意味着模型不只是被优化去"写出更好的答案",还被优化去"设计出能引出更好答案的工作流"。

反复迭代之后,就形成一个正反馈循环:脚手架不断变异、被筛选,逐渐收敛到那些能稳定带来高奖励轨迹的形态,针对不同任务类别(修 bug、跑终端、改大仓库)的策略会自动涌现,不再需要人手工调 harness。Rohan Paul 有句话总结得挺好:这让模型"不再像一个照着一份死板清单干活的程序员,而更像一个学会了针对不同类型问题该用哪份清单的程序员"。

Ornith-1.0 自改进训练框架:脚手架与策略联合进化的两阶段 RL

图片来源:DeepReinforce 官方技术博客 Ornith-1.0

防"作弊"是当作训练问题来解的

这里有个绕不开的风险:一旦让模型自己设计脚手架,它就有动机去钻空子(reward hacking)——比如偷看可见的测试文件、把预期输出硬编码进去、或者直接复制环境里的标准答案,从而骗过验证器拿到奖励,却根本没真正解题。

Ornith 用了三层防御来堵这个口子:

训练上还用了异步 pipeline-RL 和 token 级的"陈旧度加权"(staleness weight)来处理长 rollout 的 off-policy 问题,损失函数是带 staleness 权重的 GRPO。细节不展开,结论是:这套方法在工程上是认真的,不是 PPT。

值得点出的是,"把防奖励黑客当成训练时的一等公民来设计"这件事,恰好踩在 2026 年最热的痛点上——这一点我们放到争议部分再说。


跑分对齐:Ornith vs 六大主流模型

下面是重点。我把官方公布的数字,和几个主流对照模型放在一起。先看旗舰级(397B 这一档):

基准 Ornith-1.0-397B DeepSeek V4 Pro Claude Opus 4.7 GPT-5.5(参考) Claude Opus 4.8(参考)
Terminal-Bench 2.1(Terminus-2) 77.5 67.9 70.3 — —
SWE-Bench Verified 82.4 80.6 80.8 88.7 88.6
SWE-Bench Pro 62.2 55.4 64.3 58.6 69.2
SWE-Bench Multilingual 78.9 76.2 — — —
ClawEval(平均) 77.1 75.8 78.2 — —

数据来源:Ornith 官方技术博客(397B / DeepSeek V4 Pro / Claude Opus 4.7 同表),GPT-5.5 与 Claude Opus 4.8 的 SWE-Bench 数字来自第三方榜单与 Anthropic 系统卡,跨表对比仅供定位参考。内容经改写以符合授权要求。

怎么读这张表,三个关键点:

  1. Ornith 对标的是 Claude Opus 4.7,不是最新的 4.8。 这点特别重要。Anthropic 在 2026 年 5 月 28 日发布了 Opus 4.8,SWE-Bench Verified 飙到 88.6、SWE-Bench Pro 达到 69.2。而 GPT-5.5(4 月发布)SWE-Bench Verified 也有 88.7。Ornith-1.0-397B 的 82.4,离这两个真正的当代前沿,还差着 6 个点。 它"超越 Claude Opus"的说法,只在挑选了上一代 4.7 的前提下成立。

  2. 在 SWE-Bench Pro 上,Ornith 反而落后。 SWE-Bench Pro 是专门设计来抗污染的硬骨头基准(长程任务、私有代码库)。Ornith-397B 只有 62.2,低于 Claude Opus 4.7 的 64.3,更远低于 Opus 4.8 的 69.2。越是难刷的榜,Ornith 的领先越是消失。 这本身就是一个信号。

  3. 在 Terminal-Bench 2.1 上 Ornith 确实亮眼。 77.5 这个数字,比表里所有开源对手都高,也高于 Opus 4.7。如果属实,说明它的"自搭脚手架"在终端类长程任务上是真有效的——这恰好是脚手架影响最大的场景。

Ornith-1.0-397B 在各项 agentic coding 基准上的评测结果

图片来源:DeepReinforce 官方技术博客 Ornith-1.0

再看中端(35B 这一档),这是"35B 干翻 397B"故事的核心:

基准 Ornith-1.0-35B Qwen 3.5-35B Qwen 3.6-35B Gemma 4-31B Qwen 3.5-397B
Terminal-Bench 2.1 64.2 41.4 52.5 42.1 53.5
SWE-Bench Verified 75.6 70.0 73.4 52.0 76.4
SWE-Bench Pro 50.4 44.6 49.5 35.7 51.6
NL2Repo 34.6 20.5 29.4 15.5 36.8

这张表才是 Ornith 最有说服力的地方。Ornith-35B 在 Terminal-Bench 2.1 上(64.2)确实碾压了同档的 Qwen 3.5-35B(41.4)、Qwen 3.6-35B(52.5)、Gemma 4-31B(42.1),甚至超过了它自己 11 倍大的同源底座 Qwen 3.5-397B(53.5)。

但请注意右边那一列的细节:在 SWE-Bench Verified、SWE-Bench Pro、NL2Repo 上,Ornith-35B 其实仍然略输给 Qwen 3.5-397B(75.6 vs 76.4、50.4 vs 51.6、34.6 vs 36.8)。所以准确的说法不是"35B 全面干翻 397B",而是"35B 在 Terminal-Bench 这类对脚手架最敏感的任务上超过了 397B,在其他基准上接近但仍略逊"。营销话术挑了最戏剧化的那一项来讲,这很正常,但读者得知道全貌。

Ornith-1.0-35B 与同档及更大模型的评测对比

图片来源:DeepReinforce 官方技术博客 Ornith-1.0

最后是边缘端(9B 这一档):

Ornith-1.0-9B 报出 Terminal-Bench 2.1 = 43.1、SWE-Bench Verified = 69.4。一个能在 RX 6900 XT 这种消费级显卡上跑起来的 9B 模型,SWE-Bench Verified 接近 70,比肩 Gemma 4-31B 和 Qwen 3.6-35B——如果属实,这对本地部署、数据不出门的开发者是真有吸引力的。事实上已经有用户反馈:在 RX 6900 XT + Threadripper 上跑 35B 的 GGUF 版本,主观体验"介于 GPT-5.3 和 5.4 之间"。

Ornith-1.0-9B 边缘端模型的评测结果

图片来源:DeepReinforce 官方技术博客 Ornith-1.0


横向定位:这一串模型,到底各自站在哪

把跑分放下,从"我该用谁"的角度,给这几款模型做个定位:

一句话概括选型:要最强真实工程能力且预算够 → Opus 4.8 / GPT-5.5;要开源高性价比通用 → GLM 5.2 / DeepSeek V4;要本地跑的编程专用、且愿意自己验证 → 试试 Ornith 9B / 35B。


直面争议:是真突破,还是又一次 benchmaxxing

现在回到标题里的问题。我的判断分三层。

第一层:方法是真的,且方向正确

Self-Scaffolding 不是包装话术。让脚手架和策略联合进化、把防奖励黑客当训练问题来解,这是有原创性、也符合 DeepReinforce 一贯"用 RL 做专项特化"风格的工作。方法层面,我倾向于相信这是一次真实的技术推进。

第二层:跑分要打折,因为 2026 年的榜单本身就塌了

这才是关键背景。2026 年,编程基准的公信力正在系统性崩塌:

在这个大背景下,任何"作者自报"的 SWE-bench / Terminal-Bench 高分,都应该默认打个问号——不是针对 Ornith,而是针对所有人。Ornith 官方表格里的 Claude/DeepSeek 对照数字也是它自己跑的,跨厂商自测对比的可比性天然有限。X 上"benchmaxxing""互动像刷的"质疑,放在这个语境里并不算苛刻。

有意思的是,Ornith 把"防奖励黑客"做成训练卖点,某种程度上是在主动回应这个时代焦虑。但"我训练时防了作弊"和"我评测时没刷分"是两回事,后者仍然需要独立第三方复现来背书,而截至发稿,还没有看到。

第三层:值不值得用,取决于你是谁


小结

回到那个让人揉眼睛的标题——"35B 干翻 397B"。准确的版本是:Ornith-1.0-35B 在 Terminal-Bench 这一类对脚手架最敏感的任务上,确实超过了同源的 Qwen 3.5-397B,但在更难、更抗污染的 SWE-Bench Pro 上,连它自己的 397B 旗舰都没能拉开身位、更追不上 Claude Opus 4.8 和 GPT-5.5。

所以"真突破还是 benchmaxxing",答案是"两者都有一点":训练方法是真的有料,自报跑分要按 2026 年的行情大幅打折。 Self-Scaffolding 这个方向,值得整个行业关注;而 Ornith-1.0 这个具体模型的真实战力,请把它下载下来,在你自己的代码库上跑一遍——这才是 2026 年唯一靠谱的 benchmark。


免责声明

本文跑分数据来自 DeepReinforce 官方技术博客及第三方公开榜单,其中跨厂商对比多为各自自测,可比性有限,不构成任何选型或投资建议。模型能力评估请以你自己在真实任务上的复现结果为准。文中提及的第三方观点(含质疑)仅代表相关人士立场。

参考来源

相关阅读

🛒 京东 心动购物季主会场

京东大促进行中,超值好物等你来选

去京东看看 →

* 京东联盟推广链接,你不需要多花钱,我们获得小额佣金

🟠 淘宝 淘宝教育学习会场

淘宝精选好物,超值优惠等你来抢

去淘宝看看 →

* 淘宝联盟推广链接,你不需要多花钱,我们获得小额佣金

🛒

推荐搭配装备

善其事,利其器。以下硬件能最大化你的编程体验👇

京东
⌨️
4K显示器 - Dell U2724D
程序员双屏标配,27寸4K,护眼不疲劳
¥2500-3500
淘宝
⌨️
MacBook Pro 14寸 M4 Pro
AI开发首选,M4芯片神经网络引擎极强
¥14000-19000
🔵 京东 🟠 淘宝

🔗 通过以上链接购买可支持本站持续运营 🙏