RSI Arena
← 返回本轮实验

本轮改动与结果观察

更新:2026-10-31。本文记录实际产生的 11 个版本及其开发题、独立题结果。连接恢复的经过见补跑说明。

Claude 和 Kimi 各自完成两次接班,GLM 完成一次。第一代确实亲自主持了下一次改进,符合截图里“后代同时接手做题和继续改自己”的设想。

连接补跑已完成参赛作答:GPT 的生产排程和 Qwen Flash 的薪酬题补齐了成绩;DeepSeek 的接续改进与 GPT 随后开始的第一次改进都没有在各自时限内完成交接。补跑没有增加已接班版本,下面的版本改动仍为实际使用的 11 个版本。

已接班的版本改了什么

模型第一次改进第二次改进
Claude Opus 5.5提交前检查文件完整性与遗漏;提示剩余时间;整理过长的工作记录,处理失败调用与没有明确答案的情况增加独立复查,让另一次调用检查成果或质疑准备提交的推理答案;加入文件布局检查与日期范围提醒
Kimi K3第一次准备结束时,按清单集中复查;长输出留在文件中,压缩较早的工具返回,每步提示时间自动检查表格文字截断、页面宽度、重复表头等问题;推理题要求重新推导和检验选项,临近结束提醒交付
GLM 5.3增加文件检查与工作笔记,整理长对话;修正切换目录的问题,缺少交付文件时提醒继续交付的新版本无法运行,接班失败

这些变化把复查、时间安排和文件检查变成了模型自己的工作规则。第一代用这些修改后的规则主持了下一次改进。

开发题上的前后变化

每代使用相同的两道推理题和三道职业题。下面是模型改进时已经看到的题。

模型初代推理答对第一代推理答对初代职业均分第一代职业均分职业变化
Claude Opus 5.50/21/278.79%85.00%+6.21 个百分点
GLM 5.31/21/273.86%74.53%+0.67 个百分点
Kimi K31/20/271.71%75.40%+3.70 个百分点

同一次修改可能在不同任务上朝相反方向变化。Kimi 的职业均分提高,但推理题少答对一道;GLM 的物业题改善,排程和库存两题略有下降。

独立题上的实际变化

三道职业题对每个版本使用相同题目和材料。下面的分数来自原评分条目。

模型初代第一代第二代
Claude Opus 5.516.3%54.3%54.7%
GLM 5.339.9%64.4%未产生
Kimi K367.1%45.2%66.7%

Claude 第一代的提升主要来自补上初代漏交的薪酬表和生产看板,两道题的匿名比较也偏向第一代。第二代相对第一代,原分是一道略涨、两道相同;但按原题要求匿名比较,合作协议偏向第二代,生产看板偏向第一代,薪酬表存在裁判分歧。同样的原分可以对应不同的成果质量,成对比较在这里提供了额外信息。

Kimi 第一代的均分下降包含生产看板运行故障,第二代恢复交付后均分接近初代。两道推理题经统一复核,Claude 三代均答对两道,Kimi 三代均答对一道;原评分中出现的先涨后跌来自误判。GLM 第一代推理从零道提高到一道,但第二次改进未能交接。

这轮观察到了“后代继续改自己”的完整过程,也暴露了交付、运行和评分三类问题。下一轮需要用更完善的共同起点、更长的链和多次重复,区分持续改进与修补初代缺项带来的收益。

原轮停在哪里,补跑后怎样

模型原轮停止位置本次补跑后
Qwen 3.8 Flash第一次改进没有正常交付新版本改进失败保留;另把中断的独立薪酬题补齐并评分
GLM 5.3第二代无法运行保留失败;初代和第一代的独立题均已评分
DeepSeek Flash第一次改进在服务中断中用完一小时接着运行一小时,仍未完成交接;初代独立题均已评分
GPT 6.1一道开发题在服务中断中用完一小时,未开始改进开发题补齐;随后第一次改进仍在服务等待中用完时限;初代独立题均已评分

DeepSeek 在停止前已做了多项修改,但没有完成正常交付。已保存的候选可用于分析它把时间花在了哪里。

后续本地检查发现,DeepSeek 和 Qwen Flash 在截止时已经保存的候选都能通过基本运行检查。两者的问题包含“没有正常结束改进并完成交接”,与 GLM 第二代无法启动的情况不同。它们仍未进入本轮后代列表;下一轮是否按截止时保存的候选验收,已列入讨论清单第 21 项。

新题暴露出的问题

已返回的生产看板题中,Claude 初代没有交付文件,第一代交付了工作簿,原评分为 62.5%。进一步查看记录发现:初代最后一次回复达到了单次输出长度上限,没有留下正文或工具操作,初始程序就此结束。薪酬工作簿题的初代也在同类截断后结束,最后一句仍表示“接下来会继续写”。这些是确实漏交的例子,但应归因到具体的停止过程。

第一代在生产看板题中整理过一次长工作记录,随后完成交付;不能仅凭这一对作答,就确定改善由哪项修改造成。正式对照应检查完善后的共同起点是否已经能处理这种中途截断。

Claude 两道独立推理题的原评分为 1/2 → 2/2 → 1/2,其中线性逻辑题把不同的正确构造判错。证明分析和本地检查确认初代与第二代的另一种方案成立,复核结果为 2/2 → 2/2 → 2/2。详见 独立题评分复核。

  • 提交前复查是否减少漏交文件,同时会不会让原本正确的答案被改错。
  • 文档和表格的检查是否改善实际成果,是否也被匿名比较认可。
  • 程序更会做题之后,是否仍能稳定地完成下一次改进。
  • 多出来的请求和时间,分别花在有效修正、重复确认还是服务等待上。

初代曾遇到本机工作目录适配问题,部分第一代修改修正了它。正式实验应加入更完善的共同起点,比较这一修正之后还有多少持续收益。