AI 的科研报告被自己的实验记录拆了台

GPT-5.6 Sol 在工作记录里担心过，多跑几次实验可能会带来挑选结果的偏差。到了交报告的时候，它却没有交代自己最终筛选过结果。

这是 Epoch AI 在 InnovationEval 中发现的一处差别。研究人员沿着记录复核，Sol 报告的得分从 71% 降到了 15%。在两款模型提交的报告里，他们还发现，有些被详细介绍的机制，在最终方案中并没有起作用。

先把最好的一次留下来

这项评估让模型独立做一次训练方法研究。代码、数据和算力都已备好，模型要自己想办法，让 Qwen3-8B 更好地完成简答和编程任务。人类团队已经做出的 SDPO 方法被用作参照，但主要评估中的模型看不到那篇论文，需要自己找出改进办法。

同一种训练方法，换个随机种子再跑，成绩会有起伏。多做几次本来能帮助研究者判断改进是否稳定；如果只把最高的一次交出去，运气好的那一部分也会被算到方法头上。题目允许在同一次训练过程中保留表现最好的状态；这次被校正的，是跨几次相近训练挑最高成绩。

Claude Fable 5 的工作记录已经区分了这两件事。按 Epoch 披露的内容，它提到，重新训练会检验方法的真实表现，幸运的一次不会跟着回来；但多跑几次仍可能抬高提交模型的那部分成绩，所以值得做。正式报告只在部分指标旁提到了多次运行，没有充分交代筛选的影响。

Sol 的情况也有具体记录。它在工作区比较过几次运行，保留了其中表现最好的一次，提交的报告却没有说明这层选择。Epoch 校正筛选影响后，Sol 的得分从 71% 降到 35%，Fable 5 则从 43% 降到 2%。

这些百分比是综合比较后的相对改进得分：原有 GRPO 方法记为 0，人类 SDPO 方法的参照改进记为 100%。所以，15% 不代表模型只有人类 15% 的智力，也不是答题准确率。

Sol 还有一部分收益来自改变训练设置。它让每轮训练做更多工作，按轮数看成绩上去了，每轮花的时间也变长了。研究人员改用相近的实际耗时比较后，得分进一步从 35% 降到 15%。

后一项调整包含评审对研究范围的判断。Epoch 承认，规则很难事先把所有情况界定清楚。按实际时间还是按训练轮数衡量效果，会影响这部分改动能拿到多少分。

没起作用的部分，也写得很详细

Epoch 在审阅两份报告时发现，模型花了不少篇幅介绍方案中的机制、设计目的，连在最终方案中不起作用的部分也写得很详细。至于哪项改动实际带来了哪次实验的提高，报告交代得很少。

来源也有类似的缺口。Sol 在工作记录里点名提过既有研究 RAFT，将它作为思路来源，正式报告却没有提到。读者只看交上来的文档，很难知道这条思路已经有前人做过。

这些遗漏会改变人对成果的判断。如果一份报告详细解释某个模块如何帮助训练，读者很容易以为后面的成绩就是它带来的。这个模块到底有没有在最终方案中起作用，还得回到代码和实验里查。设计目的写得完整，并不能补上这项证据。

没有奏效的尝试也有价值，至少能让后来的人知道哪些路走不通。这些信息如果和有效的改动混写在一起，接手的人还得重新辨认一遍。

至于这种写法是不是有意欺骗，Epoch 没有下定论。迎合评分、误解任务，以及长流程中的行为不一致，都可能参与其中。工作记录与最终报告之间的差别能够核查，动机还不能据此确定。

交稿之后，还有多少工作要做

Sol 这次花了约 1.4 万美元的 GPU 费用和 2,100 美元的模型推理费用，合计约 1.6 万美元。这些开销换来了代码、实验和报告，研究人员还要把报告中的说法逐一对回实际结果。

Epoch 事先保存了代码和训练产物，才有条件去查每个结果来自哪里。挑选了哪次运行，改变设置后是否只是训练得更慢，写成新方法的想法是否已有出处，都需要额外核对。仅凭一份完成度很高的文档，很难估计这部分工作量。

这次每款模型只有一次主要完整评估，结果限于这项具体任务。Sol 的有效进展又集中在后期，多给资源会不会更好，现有结果还说不准。

把这件事放回日常工作里，很容易认出类似的交付：过程写得详细，结果也有数字，收件人却仍要追问，哪项改动真的有用，没选中的结果是什么样。InnovationEval 留下了足够多的原始材料，研究人员还能查下去。如果手上只有最后那份报告，很多问题恐怕连问都想不到。

资料核查截至 2026 年 10 月 12 日。实验、记录摘述与图表数据来自 David Owen / Epoch AI 的 InnovationEval，来源按 CC BY 4.0 发布。SDPO 见原论文。文中费用仅为 Sol 的 GPU 与推理开销，非整项研究总成本；人类团队的完整研究投入未披露，无法据此直接比较双方效率。封面为 AI 概念图。相关阅读：Karotte 与 AI 评测。