模型能否持续改进自己
给不同模型相同的起始程序、任务、反馈和资源,让每一代接管做题与继续改进。我们关注最终实力、相对起点的提升,以及已经获得的能力能否保住。
本轮使用六个模型、10 道 Evo 原题与 14 个原附件,尝试连续接班两次。前往实验主页查看逐代进展和待讨论设置。
怎样比较
一个模型产生新版本后,由这个新版本实际做题,并负责产生再下一代。所有版本都保留,失败和退步也进入结果。
- 共同起点:各模型使用相同的初始程序、任务顺序和每题资源。
- 逐代接班:新版本能够运行即可接班,记录它新解决了什么、丢失了什么。
- 成对比较:在同一道题上比较两个版本。有明确结果的任务自动检查;文档等开放成果隐藏模型身份后比较,再交换左右位置复核。
- 后续对照:由固定的初代程序一直负责改进,与后代持续接班比较。
- 后续迁移:将进化完成的程序交给其他模型,观察收益能否保留。
最后评测的题目不参与改进或挑选版本。正式实验将重复多条进化过程,分别记录各领域的提升、退步和资源消耗。
论文要回答什么新问题
Evo-Bench 已经比较模型改进运行程序的能力;Self-Evolving Harness 已经让后代接管继续改进。我们的重点是共同条件下不同模型为何分化:后代接班带来多少额外收益,继续改进的能力是否提高,以及这些差异在多个领域是否稳定。
任务怎么选
本轮从 Evo-Bench 已公开的原题中选取五道开发题和五道独立题,覆盖专业推理、生产排程、零售、物业、公共服务与财务工作。保留原题、附件和官方划分,职业题要提交实际文档或表格。
可供后续扩展的完整题库共 608 道,来源和划分如下;这个数量不是本轮已运行的题数。
| 来源 | 要完成的工作 | 改进题 | 最终评测题 |
|---|---|---|---|
| BrowseComp-EN | 多次检索并交叉核对难查的事实 | 32 | 128 |
| HLE | 解决高难度专业问题 | 32 | 128 |
| GDPval | 依据附件完成职业工作成果 | 32 | 64 |
| APEX-Agents | 完成法律、投行与咨询工作 | 32 | 64 |
| Claw-Eval | 在应用与服务中完成多步操作 | 32 | 64 |
| 合计 | 160 | 448 |
608 道原题与 125 个附件已核对。本轮已复用 Evo 的原题、初始程序、工具执行与评分代码,使用本机独立环境连接六个真实模型。评分另外补齐原参考材料,职业成果再做匿名成对比较。
后续再接入搜索、在线服务和真实代码环境。代码方向已找到 64 题的公开清单,划分为 43 道开发题、21 道保留题。正式实验将分别观察代码与系统、检索与专业推理、职业交付、多步操作的变化。
早期两轮流程检查使用项目自建的欠款跟进、库存分配、权限复核和产品备忘录任务,保存在历史记录中。
来源:Evo-Bench 公开仓库、Self-Harness 公开任务清单、SEAGym、HarnessDev。
结果在哪里
本轮 10 道原题的结果与接班记录在实时实验页面。下面是早期两轮流程检查,各轮自己的前后变化合计保存 183 次调用,不包含本轮 Evo 原题实验。
| 轮次 | 模型 | 成功接班 | 新题:初代 → 最后版本 | 本轮状态 |
|---|---|---|---|---|
| 第 1 轮 | DeepSeek Flash | 1 | 2/3 → 3/3 | 本轮完成 |
| 第 1 轮 | Qwen 3.8 Flash | 0 | 3/3 → 3/3 | 本轮完成 |
| 第 2 轮 | DeepSeek Flash | 2 | 2/3 → 3/3 | 做题完成 · 前后评审待补 |
| 第 2 轮 | Qwen 3.8 Flash | 1 | 3/3 → 3/3 | 做题完成 · 前后评审待补 |
早期第二轮中,DeepSeek 的第一代实际产生了第二代。Qwen 的第一代在开发题上退步,但在另一批新题上完成了全部三道客观题。这些短题结果用于检查流程。
早期第二轮仍有两份比较判断缺失,已有记录继续保留。
本页随公开记录自动更新。