← 返回实验页面

模型能否持续改进自己

给不同模型相同的起始程序、任务、反馈和资源,让每一代接管做题与继续改进。我们关注最终实力、相对起点的提升,以及已经获得的能力能否保住。

本轮使用六个模型、10 道 Evo 原题与 14 个原附件,尝试连续接班两次。前往实验主页查看逐代进展和待讨论设置。

怎样比较

一个模型产生新版本后,由这个新版本实际做题,并负责产生再下一代。所有版本都保留,失败和退步也进入结果。

  1. 共同起点:各模型使用相同的初始程序、任务顺序和每题资源。
  2. 逐代接班:新版本能够运行即可接班,记录它新解决了什么、丢失了什么。
  3. 成对比较:在同一道题上比较两个版本。有明确结果的任务自动检查;文档等开放成果隐藏模型身份后比较,再交换左右位置复核。
  4. 后续对照:由固定的初代程序一直负责改进,与后代持续接班比较。
  5. 后续迁移:将进化完成的程序交给其他模型,观察收益能否保留。

最后评测的题目不参与改进或挑选版本。正式实验将重复多条进化过程,分别记录各领域的提升、退步和资源消耗。

论文要回答什么新问题

Evo-Bench 已经比较模型改进运行程序的能力;Self-Evolving Harness 已经让后代接管继续改进。我们的重点是共同条件下不同模型为何分化:后代接班带来多少额外收益,继续改进的能力是否提高,以及这些差异在多个领域是否稳定。

任务怎么选

本轮从 Evo-Bench 已公开的原题中选取五道开发题和五道独立题,覆盖专业推理、生产排程、零售、物业、公共服务与财务工作。保留原题、附件和官方划分,职业题要提交实际文档或表格。

可供后续扩展的完整题库共 608 道,来源和划分如下;这个数量不是本轮已运行的题数。

来源要完成的工作改进题最终评测题
BrowseComp-EN多次检索并交叉核对难查的事实32128
HLE解决高难度专业问题32128
GDPval依据附件完成职业工作成果3264
APEX-Agents完成法律、投行与咨询工作3264
Claw-Eval在应用与服务中完成多步操作3264
合计160448

608 道原题与 125 个附件已核对。本轮已复用 Evo 的原题、初始程序、工具执行与评分代码,使用本机独立环境连接六个真实模型。评分另外补齐原参考材料,职业成果再做匿名成对比较。

后续再接入搜索、在线服务和真实代码环境。代码方向已找到 64 题的公开清单,划分为 43 道开发题、21 道保留题。正式实验将分别观察代码与系统、检索与专业推理、职业交付、多步操作的变化。

早期两轮流程检查使用项目自建的欠款跟进、库存分配、权限复核和产品备忘录任务,保存在历史记录中。

来源:Evo-Bench 公开仓库、Self-Harness 公开任务清单、SEAGym、HarnessDev。

结果在哪里

本轮 10 道原题的结果与接班记录在实时实验页面。下面是早期两轮流程检查,各轮自己的前后变化合计保存 183 次调用,不包含本轮 Evo 原题实验。

轮次模型成功接班新题:初代 → 最后版本本轮状态
第 1 轮DeepSeek Flash12/3 → 3/3本轮完成
第 1 轮Qwen 3.8 Flash03/3 → 3/3本轮完成
第 2 轮DeepSeek Flash22/3 → 3/3做题完成 · 前后评审待补
第 2 轮Qwen 3.8 Flash13/3 → 3/3做题完成 · 前后评审待补

早期第二轮中,DeepSeek 的第一代实际产生了第二代。Qwen 的第一代在开发题上退步,但在另一批新题上完成了全部三道客观题。这些短题结果用于检查流程。

早期第二轮仍有两份比较判断缺失,已有记录继续保留。

本页随公开记录自动更新。