DeepSeek Flash
最后版本：第一代开发题完成数 · 改进时可见的题
初代0/3共同起点
第一代3/3后代已接班
第二代—接班失败
生成新版本时用完单次回复额度
新题表现2/3 → 3/3新完成 1 题 · 丢失 0 题
HOW FAR CAN AGENTS IMPROVE THEMSELVES?
模型能把自己带多远？
从同一起点出发，让每一代接管做题与继续改进。比较最终实力，也看进步能否持续。
当前阶段：流程试跑完成，扩展真实任务
逐轮保存接班、退步和新题成绩。下一版采用公开真实任务，覆盖检索、专业工作、工具操作与代码。
阅读任务选择与开源复用说明 →逐代接班，逐项看结果
保存的真实调用结果
本轮完成第一轮 · 连接与流程校准
每轮分别查看同一任务上的前后变化。
Qwen 3.8 Flash
最后版本：初代开发题完成数 · 改进时可见的题
初代3/3共同起点
第一代—接班失败
第二代—未继续产生
生成新版本时用完单次回复额度
新题表现3/3 → 3/3新完成 0 题 · 丢失 0 题
新题逐项结果
开放题的“已提交”仅表示有成果，质量见下方比较| 题目 | DeepSeek Flash 初代 | DeepSeek Flash 最后版本 · 第一代 | Qwen 3.8 Flash 初代 | Qwen 3.8 Flash 最后版本 · 初代 |
|---|---|---|---|---|
| 欠款跟进 | 完成 | 完成 | 完成 | 完成 |
| 库存分配 | 完成 | 完成 | 完成 | 完成 |
| 权限复核 | 未完成 | 完成 | 完成 | 完成 |
| 产品备忘录 | 未提交成果 | 已提交成果 | 未提交成果 | 未提交成果 |
开放成果比较
产品决策备忘录 · 按同一任务要求比较最终成果
- 模型间比较DeepSeek Flash更好Qwen 3.8 Flash / DeepSeek Flash
- 与自身初代比较双方都不合格Qwen 3.8 Flash最后版本 / Qwen 3.8 Flash初代
- 与自身初代比较DeepSeek Flash最后版本更好DeepSeek Flash最后版本 / DeepSeek Flash初代
同一个评审模型交换左右位置复核，两次判断都保留。
保存的真实调用结果
做题完成 · 前后评审待补第二轮 · 调整回复设置后的新题试跑
已保存做题结果；2 组成果比较尚缺复核判断。
DeepSeek Flash
最后版本：第二代开发题完成数 · 改进时可见的题
初代2/3共同起点
第一代3/3后代已接班
第二代3/3后代已接班
已完成 2/2 次计划接班
新题表现2/3 → 3/3新完成 1 题 · 丢失 0 题
Qwen 3.8 Flash
最后版本：第一代开发题完成数 · 改进时可见的题
初代2/3共同起点
第一代0/3后代已接班
第二代—接班失败
生成新版本时用完单次回复额度
新题表现3/3 → 3/3新完成 0 题 · 丢失 0 题
新题逐项结果
开放题的“已提交”仅表示有成果，质量见下方比较| 题目 | DeepSeek Flash 初代 | DeepSeek Flash 最后版本 · 第二代 | Qwen 3.8 Flash 初代 | Qwen 3.8 Flash 最后版本 · 第一代 |
|---|---|---|---|---|
| 欠款跟进 | 完成 | 完成 | 完成 | 完成 |
| 库存分配 | 完成 | 完成 | 完成 | 完成 |
| 权限复核 | 未完成 | 完成 | 完成 | 完成 |
| 产品备忘录 | 已提交成果 | 已提交成果 | 已提交成果 | 已提交成果 |
开放成果比较
产品决策备忘录 · 按同一任务要求比较最终成果
- 模型间比较DeepSeek Flash更好Qwen 3.8 Flash / DeepSeek Flash
- 与自身初代比较尚缺一次复核判断Qwen 3.8 Flash最后版本 / Qwen 3.8 Flash初代
- 与自身初代比较尚缺一次复核判断DeepSeek Flash最后版本 / DeepSeek Flash初代
旧评审接口返回上游额度错误，缺失判断保留为空。
当前试跑使用欠款跟进、库存分配、权限复核与产品备忘录；用于检查流程。多领域正式实验尚未开展。
NEXT TASK SET
查看题目划分和选择依据 →把真实工作放进同一个赛场
代码与系统
进入真实项目修复问题，构建软件，处理数据库或科学计算环境。
Terminal-Bench 2.0
优先核对公开的 64 题划分
优先核对公开的 64 题划分
已找到清单 · 运行环境待接入
检索与专业推理
交叉核对多个来源，回答难查的事实问题与高难度专业问题。
BrowseComp-EN · HLE
保留原来的开发与评测划分
保留原来的开发与评测划分
320 道原题已读取
专业交付
读租约、修改投行模型、综合多份材料，交付完整的职业工作成果。
GDPval · APEX-Agents
覆盖法律、金融、咨询等领域
覆盖法律、金融、咨询等领域
192 道原题及本地附件已核对
多步工具操作
在应用与服务中连续操作，核对工作结果，完成完整业务请求。
Claw-Eval
沿用原有服务环境与判分
沿用原有服务环境与判分
96 道原题已读取 · 环境待接入
Evo-Bench：160 道改进题 + 448 道最终评测题；125 个本地附件均已找到。题库已准备，真实任务尚未执行。
多领域一起进化
四个方向提供共同的改进反馈。逐代保存各领域的变化，观察一次修改是在普遍提高，还是牺牲了其他能力。
每一步退步都保留
最终题目不参与接班决策。展示每代的实际表现，并另设筛选版本的对照，辨别稳定表现从哪里来。
查看目前流程试跑的四类题目
- 欠款跟进：合并发票与付款，筛出可联系的逾期欠款。
- 库存分配：按顺序满足整单库存，确定批准与延后处理的订单。
- 权限复核：结合人员状态、有效期和培训记录，决定哪些权限应当保留。
- 产品备忘录：根据反馈与工时，在八个工作日内选择产品计划。
RELATED WORK
依据论文实验章节与公开题库核对已有研究怎样设置任务
| 工作 | 用了什么任务 | 需要区分的设置 |
|---|---|---|
| Evo-Bench ↗608 道题 / 3 个方向 | BrowseComp、HLE、GDPval、APEX-Agents、Claw-Eval。 | 160 道参与改进，448 道最后评测。外部改进程序固定。 |
| Self-Evolving Harness ↗5 类训练任务 + 5 类新来源 | 终端工程、动态应用、财政文档推理、银行业务、代码修复。 | 五个来源各有 60 道训练题，混合参与进化；后代接管改进。 |
| HarnessDev ↗建设实验覆盖 2,207 题 | 代码、数据分析、写作、研究检索。 | 多领域覆盖在建设实验；连续改进实验目前只做代码。 |
| SEAGym ↗源任务 + 新领域测试 | Terminal-Bench 与 HLE 数学、物理；另测计算机和工程。 | 80 训练、35 验证、55 同类测试；另有 80 道新领域题。 |
| Self-Harness ↗Terminal-Bench 的 64 题子集 | 真实终端工作，公开划分为 43 道开发题、21 道保留题。 | 保留题也用于筛选候选版本；通过“不退步”筛选才接班。 |
| Harness² ↗职业工作与法律任务 | WorkBuddy-Bench、JobBench、Harvey LAB。 | 沿用不同来源的评分标准；逐条达标与整题完成分开报告。 |
Self-Evolving Harness 与 Self-Harness 是两篇不同论文。详细任务数、实验规则、来源链接和可复用部分已整理在研究说明中。
哪些开源代码已用上
已有逐代接班与成对比较程序，下一步接入公开任务的执行和评分。
- 两轮流程试跑：项目自己的程序与题目逐代接班、成对比较和结果记录已经运行。
- 真实题库准备：已使用 Evo-Bench 的公开程序608 道题已读入，开发题与最终题没有重复，附件已核对。
- 真实任务执行与判分：正在接入前准备复用 Evo 与 Harbor 的实际任务环境；Self-Harness 的代码已阅读，尚未用于试跑。