RSI Arena：历次设置、问题与研究依据

归档：2026-11-01。这份记录保留此前各轮设置和讨论的原文，其中“本轮”“当前”等说法对应当时的实验。正在采用的规则和仍需讨论的选择见最新讨论清单。第一次了解项目，可先读 从零了解 RSI Arena。

研究主线是让不同模型从同一份起始程序出发，在相同开发题、反馈方式和资源规则下不断产生后代；第 g+1 代接管做题，也必须亲自构造第 g+2 代。三项评价分别为系统总实力、相对初代的改进、进化后程序在其他模型上的泛化性。后续再把过程整理成数据，训练更会改进工作程序的模型。

目前已完成旧的两次接班示例。新一轮严格递归实验已经启动：五次接班、每模型两次独立重复，接入三项比较和训练数据整理。固定规则见本轮实验。以下保留相关工作的设置依据与后续研究选择；其中160道开发题、448道测试题是扩大研究的提案，没有在本轮启动。模型训练尚未开始。

用户已确认六条模型通道可以使用，总调用次数不限；不使用 Qwen 3.8 Max，也不使用其独立 Idealab 密钥。新轮仍使用10道材料齐全、能在本机完成的原题。原版云端环境和搜索服务留给扩大研究时接入。

正在执行的新轮：已经固定的选择

这轮采用同一份起始程序，六个模型各独立重复两次、最多五次接班。每代先做同样五道开发题，再亲自改出后代；能正常交接就保留，成绩下降不回滚，原样交付记为停滞。两次重复的所有链停止后，再统一开放五道新测试题，完成三项比较与训练数据整理。

本轮控制每题、每次改进的请求数、时限、单次和累计输出量、累计发送材料与本地运行限制。服务等待计入时间，恢复不增加额度。最终程序按最后成功接班的版本选取，不根据测试成绩选择。具体数值及训练样本筛选见本轮规则。

后文的对照组、完整题库和训练资源属于进一步研究的讨论，尚未加入这一轮。当前程序不会等待这些讨论才继续做题。

此前示例设置：10 道原题、连续接班两次

本轮设置保存在 configs/evo_demo10.json，运行记录在 runs/evo10_20261031/。详细题目与运行方式见 Evo 运行说明。

10 月 31 日中午的继续执行：Claude 与 Kimi 各完成两次接班，GLM 完成一次后在第二次失败，Qwen Flash 第一次未正常交付；DeepSeek 的改进和 GPT 的开发题受服务中断影响。现有版本全部参加独立题，缺少的后代不补造。这个共同规则在打开独立题前记录，原定每题时间没有改变。

10 月 31 日的补跑已结束：GPT 生产排程和 Qwen Flash 薪酬作答补齐，DeepSeek 与 GPT 仍未完成第一代交接。现有 11 个版本不变，45 份开发题、55 份独立题全部评分，66 组成果比较全部完成。61 组比较复用原轮记录，仅新增依赖 Qwen 薪酬成果的五组。接续范围、额外用时与停止原因见 连接与评分补跑。

这轮先观察能否完成接班、具体如何修改、哪些任务涨跌。五道独立题能提供案例，论文需要更多任务和独立重复。固定初代改进对照、跨模型使用和更多任务来源留待下一轮。

此前示例暴露、优先讨论的五件事

新轮补充：一道开发题的定义问题。 矩阵分解与 Frobenius 数原题没有固定第二部分矩阵的尺度。已构造同样达到最优条件、但给出不同 X₂ 的精确整数例子；GPT 与 GLM 指出不唯一仍被原评分判零分。完整证明和实际作答见开发题定义复核。本轮保留原题及原分；扩大实验和训练前，需要补全定义与解答，或替换题目。

后续完整实验提案：尚未启动

以下提案保存在 configs/evo_v1.json。它保留完整题库与两组对照，供讨论工作量和正式设置；不属于本轮 10 题示例。

开发批次不同，因此开发分数不能直接连成“持续涨分曲线”。正式曲线只使用冻结后那套相同的独立题。Claw 每次评测做三次，但仍只算一道独立题。

五代、两组、六模型的独立评测，若初代在两组之间复用，共有 66 个不同的“模型—版本”评测对象。每个对象有 448 道独立题、576 次任务尝试，共 38,016 次任务尝试；五批开发另有 2,688 次任务尝试，另加 60 次改进会话。开放评审与迁移在此之外。这是完整任务流程，不是 40,704 次短问答，也不是对实际耗时的估计。先检查每种环境的真实调用与工具闭环，再按来源开展首批任务，最后展开整轮。

必须和大家讨论的选择

1. 我们主要测模型，还是测“模型加自己的程序”？

本轮建议：同一模型既做题又改自己，作为主线；统一执行模型作为解释性对照。

Evo 主实验固定执行模型 DeepSeek-V4-Flash，让不同模型在固定外部改进程序中修改它。这样比较的是改进者。Self-Evolving Harness 则由同一模型、同一套当代程序兼任做题与改进，更接近截图。HarnessDev 和 Harness Updating Is Not Harness Benefit 也区分创建者、更新者与使用者。

如果模型 A 最终高于 B，但 A 初代就很强，这不能直接说明 A 更会改自己。应同时报告初代、最终实力、绝对提升和每个来源的变化。另把各模型产出的程序交给统一执行模型，检查排序是否改变。讨论：论文主榜排最终实力、提升量，还是两者并列？ [1–4]

2. 退步版本要不要接班？

本轮建议：主线不设成绩门槛。

Self-Harness 每个候选都经过“不退步”筛选，其稳定曲线包含筛选的作用。Self-Evolving Harness 主要检查程序能否运行，论文也报告部分任务退步，并把缺少收益验证列为问题。

若想回答“模型自己能否至少不掉”，不能先把下降版本删掉。另设开发题筛选组可以回答筛选的价值，但要把筛选调用计入资源，不能使用独立题筛选。讨论：保留主线无门槛，再增加筛选组；还是把筛选视作可以进化的一部分？ [2,5]

3. 程序写坏以后，谁来修？

本轮建议：无效候选停止该链，保留失败发生的代数。

Self-Evolving Harness 的检查失败后有修复会话。若每次都由外部固定助手救回，断链率会失去含义。允许当代程序在自己的改进会话里检查与修改，属于自身能力；结束后额外启动修复，已经是另一条接班规则。

讨论：是否增加“上一代额外修一次”的组？ 若增加，固定次数和资源，分别报告首次有效率、修复率、最终接班率。坏掉的程序不能记成环境故障，也不能偷偷保留旧成绩并称新代数增长。[2]

4. 什么对照才能说明“改进能力本身变强”？

本轮建议：完整递归与固定初代改进程序一起跑；后续加共同起点分支。

两条链分开运行后，程序状态与看到的错误也会逐渐不同。递归组胜出是整个递归过程的收益，不足以单独确认改进器变强。AIDE² 的 ignition test 把新旧改进者放回同一个 AIDE47 起点，各跑三次；Auditing the Product, Not the Recursion 也专门分析这一归因问题。

讨论：在第 1、3、5 代冻结时，让当代与初代从同一程序、同一开发反馈再各改一次，作为主要解释性实验。 分支使用另外保留的开发题判断，不把独立题反馈送回主链。收益、失败率和用量一起比较。[6,7]

5. 接班多少代？独立链要几条？

当前先接班两次；下一轮提案为 5 代加对照；论文候选设置为 20 代、每条件至少 3 条独立链。

Evo 主实验上限为 20 次迭代、1,000 个改进步骤、48 小时，论文只独立运行一次。Self-Evolving Harness 第一阶段 5 代、第二阶段再 2 代。五代适合先暴露问题，不能支持“无限上涨”。三条链也不是充分精度的保证，最终应根据首轮链间波动决定是否增加。

讨论：优先扩大代数还是重复数？ 如果链间差异大，先重复；如果多数链仍在增长，先延长。应预先约定延长条件，不能只把长跑机会给赢的模型。[1,2,6]

6. 每代用全部开发题，还是轮换批次？

当前 10 题示例使用固定开发题；完整题库提案采用五批轮换，所有模型顺序相同，未来批次不可见。

Evo 使用可重复请求的固定开发集；Self-Evolving Harness 每轮接收新的多领域任务批次。固定集便于即时比较，但反复使用会增加对那一组错误的适应；轮换更接近持续学习，但每轮开发分数不能直接比较。

讨论：增加固定 160 题组，还是先坚持批次轮换？ 若做 20 代，需要明确后 15 代重访哪些题，而不是把五批重复四次说成 20 批新题。来源标签、专业领域、附件与顺序都保存。[1,2]

7. Evo 的题库会影响我们的结论吗？

会，影响范围可以直接描述。

它的题来自现有数据集，但作者先用 12 个程序版本测 2,329 道候选题，再按对程序变化的敏感度和难度筛选。608 题适合检验程序改进效果，不代表随机抽取的全部真实工作。

讨论：独立验证用哪个未经过同样筛选的来源？ 建议从真实代码任务和新的职业工作任务各选一个，并完整留出至少一个专业领域。更换同一来源的题号是新题测试；整个来源或领域未参与改进才支持更强的迁移论证。引用原题库，贡献放在新协议与证据上。[1,2,8]

8. “调用不限”以后，如何公平？

本轮建议：总量不限，每题和每次改进的条件固定，报告实际消耗。

总调用不限解决是否继续做实验的问题；单题资源决定模型之间能否比较。300 步、一小时沿用 Evo 的做题限制；改进会话暂用相同限制，但这与 Evo 的总改进预算不同，应单独标明。

讨论：主榜按相同时间、相同步数，还是相同花费？ 三者不能同时严格相等。供应商速度会影响限时成绩；同一“最高推理档”也不代表相同内部计算量。论文至少提供表现—调用量—时间关系，价格不明确时不虚报费用。[1]

9. 公平条件能否由程序自己改？

本轮建议：提示、工具组织、记忆、规划、检查和上下文处理可以改；模型身份、密钥、评分、独立题、外部资源上限不可改。

实际执行时，限制必须在程序外部生效，不能只写在可修改的配置文件里。开放改工具不等于允许调其他参赛模型解题。进化程序可以引入自己的方法，但每代文件、依赖和实际调用应可追溯。

讨论：允许安装哪些依赖，是否允许额外调用别的模型？ 第一轮仅允许本条模型通道；多模型协作可作为后续另一组条件。[1,2]

10. Arena 的“赢”具体是什么？

本轮建议：原任务成绩和匿名偏好分别报告。

Evo 的公开代码和附录已经包含 GDPval 的成对比较：把成果与固定初代成果相比，按原标准逐项判胜，交换 A/B 顺序后平均。我们可以复用这部分，而不能把“对同一职业题匿名比较、交换左右”本身当成新贡献。本项目还要比较不同模型的当前版本，以及每条真实接班链的相邻代；进一步需要证明比较反映了持续改进能力。

BrowseComp/HLE：一方答对、一方答错才有胜负；双方答对和双方答错分别记。GDPval：逐项合格程度与最终成果偏好可不同。APEX：全部要求通过是主指标，部分通过的比例留作诊断。Claw：三次都成功才算主指标成功。

讨论：排名是否汇总为单一分数？ 建议先给逐来源成对表及平局比例。Evo 的检索、办公、通用三个方向按 2:2:1 汇总，同时列最差来源的变化。跨来源的分数不能混称“完成率”。[1]

11. 匿名裁判用谁，怎样检查偏向？

本轮建议：GPT 与 Claude 两位裁判，交换左右；保留分歧，导出供人复核的材料。

参赛模型也当裁判，可能偏好自己的风格。隐藏模型名只是第一步；成果的内容、长度和语气仍可能产生影响。裁判不看参赛身份和代数，但看完整题目、必要材料和成果；不能只比较两段摘要。

讨论：人工复核抽多少？ 先按来源分层抽 20% 的比较，并覆盖两位裁判分歧及双方不合格的情况；再根据一致性扩大。做多模型排名时检查循环胜负，不能只看一个总胜率。[1,9]

原 Evo 每个文件最多抽取 24,000 字符、8 张页面图，一次评审最多 10 张图；成对比较时每边最多 5 张。长工作簿的后续工作表可能没有展示给裁判。本轮保留原任务评分，同时保存评审实际看到了哪些文件和页面；匿名比较另列材料覆盖情况。需要讨论如何覆盖全部关键页面，以及何时交给人工检查。

实际评分又遇到相反的问题：DeepSeek 的薪酬表包含大量重复公式，逐格展开后的补充材料达到 989 万字符，超过裁判一次可读的范围。现已把重复部分表达成公式范围和模板，保留例外单元格，材料缩短至约 43 万字符；逐格还原核对通过。原文件和完整读取记录仍用于复核。讨论：正式评审是否允许裁判按需查看文件和关键页面，而不是一次固定发送所有材料？ 应同时记录裁判实际读取的范围与评审用量。

12. 每代都测，会不会偷看独立题？

本轮建议：所有改进结束后再统一评测，版本先冻结。

即使不给模型看评测分数，研究者看分数后修改提示、调整代数或挑选版本，也会影响独立性。每代都测并不要求边进化边公开独立题成绩。进化期间展示开发进展；冻结后再展示每代的独立成绩。

讨论：公开网页什么时候显示独立成绩？ 建议坚持这个顺序。用过独立反馈改变方案后，下一次验证应使用另外的题或明确称为探索分析。[7,8]

13. 网络失败和真实退步怎样分开？

本轮建议：失败请求、模型没做成、程序写坏、评分没返回分开保存。

原 Evo 会给部分执行或评审故障填 0，同时另存故障类型。若直接拿总分画图，服务不稳定可能变成“模型退步”。我们用缺失状态记录没测成的任务；保留完整预定题数、已完成数、失败原因，不用较容易完成的子集冒充全量结果。

讨论：允许哪类接续？ 已完成成果不重做；评分失败只补评分；网络中断保留第一次请求与用量，再明确记录新的尝试。断链算接班失败；不能把断链后的缺席从排行榜分母中删除。

14. 不同题能否共用一个环境？

本轮建议：每题独立环境；Claw 的三次尝试也相互隔离。

Evo 默认部分任务共用同一轮环境，只隔离工作目录。可改程序可能在其他位置留下文件、包或后台服务，从而把前题状态带到后题。独立目录不足以证明任务独立。

讨论：是否另做允许跨题记忆的条件？ 如果研究长期记忆，应明确把它作为能力对象，统一任务顺序和记忆预算；不能在未说明的情况下让模型碰巧得到跨题状态优势。[1，代码]

15. 返回的模型名与调用名不同时怎么写？

本轮建议：同时记录两者，比较用户提供的实际通道。

Claude 返回 claude-opus-5-5，GLM 返回 glm-5.3-inner，Kimi 返回 kimi-k3-260716；GPT、DeepSeek、Qwen Flash 也保留原始返回名称。已保存第一次连接的原始响应，不重新发请求“修正”这条历史。

讨论：投稿时能否公开这些通道的确切版本与推理设置？ 特别是 GLM 的内部名称，需由服务提供方确认对应版本。配置名称不能代替权重版本证明。

16. 本轮接入发现的问题如何处理？

本轮启用的 Evo 职业题评分路径只给裁判题目、评分标准和成果，没有提供原参考材料。第一份生产排程的反馈中，多项零分来自“没有参考表，无法核对”；表格的下拉限制、外部链接等信息也未传给裁判。已在首次接班前暂停改进阶段，补齐参考材料和文件结构后统一重评已有成果，保留原草稿评分。这里的分数变化属于评分修正，不能算作模型提升。

首份实际复核中，GLM 的同一份生产排程从 18/71 分变为 39/71 分。改变的是裁判拿到的材料；模型没有重新做题。原规则表、物料清单、人员名册和文件结构的核对恢复了 21 分。

原评分条目本身也需要核查：生产排程要求匹配参考材料中的 Shift 下拉列表，但原模板没有 Shift 栏，也没有这份下拉列表；另有条目要求人员工时与参考值完全相同，而原模板的人员工时待填写。讨论：正式实验如何处理评分与原题不一致的条目？ 本轮保留原条目和权重，同时另做只依据原题与材料的匿名成果比较；两种比较分别调用裁判，后者不展示原评分条目。所有模型采用同一规则。

职业题的十四个原附件中，一份合作协议提纲的关系文件格式损坏，正文仍可从文件内部读取。另有三份 Word 参考材料能读文字，但当前转换器未能生成页面图。原文件没有修改。需要决定正式实验是否统一提供修复副本，或者在看到作答前按统一规则排除这类题。

本机环境能生成文档和表格，评审端能检查正常成果的页面图；参赛程序目前没有可用的 LibreOffice 命令。正式实验需要统一参赛端和评审端的文件查看能力，并在开始前分别验证。

GPT 的部分请求成功，部分上游节点返回服务繁忙或额度错误；这与用户提供的通道整体余额是不同问题。第一批还发现连接等待上限短于整题时限，已调整为不提前截断整题允许的等待。所有原返回保留。需要约定：哪些故障可以接续、等待时间如何计入预算，以及同一模型允许切换哪些服务节点。

又观察到 GPT 在多轮工具调用中返回 invalid_encrypted_content。当前保留完整原始思考记录和工具结果，以相同请求接续；没有丢弃思考记录、改换模型或重做已完成的文件操作。其具体上游原因尚未确认，需要服务方说明会话是否能固定到兼容节点。本轮接续仍累计全部已用时间，未把服务等待退还到做题时间；正式实验应事先决定是否单列故障等待。

同一条 GPT 通道还返回 model_price_error，报错为计费表达式中的 cc12h 未定义。这个返回发生时，服务显示调用额度状态正常。这是需要服务方检查的配置错误；原始返回保留，按服务故障接续，仍计入已经消耗的等待时间。

本轮为缩短等待，两份独立成果就绪后即开始成对比较，部分参赛作答和裁判请求在时间上重叠；GPT 的两种用途还使用同一服务通道。讨论：正式限时实验是否把做题和评审分开排期，或使用独立服务通道？ 这能减少共享服务等待对参赛计时的影响。应记录两种用途各自的开始、结束和失败时间。

17. 接班前的运行检查怎样定义？

本轮要求候选保留入口文件、Python 语法正确、总文件不超过 20 MiB，并能在模拟回复下完成一次调用；这项检查最多六次调用、四十五秒。另外，只有改动说明、程序文件完全没变时，当前实现会停止该链，记录为没有实际修改。

讨论：原样保留应当停止该链，还是允许继续并记作停滞？运行检查是否会误伤需要特定回复格式的有效程序？ 正式实验应把没有修改、接口损坏、模拟检查未通过和真实任务失败分别报告。若采用原样继续，需要说明相同程序重复评测造成的波动如何处理。

18. 原题和参考答案是否需要先审核？

开发集的矩阵与 Frobenius 数题，初代六个模型均未得到原题分数。其中四个完成作答的模型认为部分定义不能确定唯一结果，一个提交了与参考答案不同的数值，另一个到达时限但没有提交答案。四个模型的异议集中在矩阵分解的约定、矩阵选择与缩放，而不是同一种计算失误。

讨论：正式实验是否先由独立人员审核题目和参考解答，存疑题怎样处理？ 多个模型提出异议，只能作为复核线索，不能据此判定原题错误。本轮继续保留原题和原答案评分，并保存异议；若后续需要换题，应在新一轮开始前决定，不能在已进行的进化链中临时替换。

该题为 HLE 673dda11d3981c54a42874ef，原始回答和判断在本轮各模型的初代开发记录中。

独立题又出现一种不同的问题：线性逻辑题要求找出一种构造，Claude 初代和第二代给出的另一种方案被原裁判按“不匹配参考形式”判错。证明分析和 475 组本地检查支持这份构造满足分组条件。故这道题的原评分 0 → 1 → 0 暂不能说明真实退步。开放构造题如何接受不同形式的正确答案，需要在正式实验前确定。 本轮保留原分，单独保存复核依据。

分段函数题也出现同样问题：Kimi 首尾两代换用了允许的约束系数，原裁判因为表达式不相同而判错。逐项证明和 3,222 个点的独立精确检查支持两份写法都成立，原来的 0 → 1 → 0 同样不是退步证据。题面要求构造一种正确表示时，评分应核验整组约束的含义，不能要求每条约束都与参考答案相同。完整依据在《独立题评分复核》中。

19. 一条模型通道停住，是否要让全部模型等它？

GPT 的生产排程题累计执行约 60 分钟，26 次请求中有 19 次失败，失败请求共耗时约 46.7 分钟。已经生成一份工作簿，但尚未完成该题。原定单题时间已经用完，反复从断点继续也没有剩余时间可用。

本轮保留被服务中断的开发与改进记录，所有已有版本继续做独立题。 DeepSeek 的第一次改进随后也因服务中断耗尽时间。10 月 31 日 11:54，在打开独立题之前统一约定：不重新开放改进，不给单个模型加时间，六个共同初代和五个已接班的后代都参加比较。这样可以测到已有版本的能力，同时保留缺少后代的事实。

讨论：正式实验采用哪种事先约定的办法？ 一是全部等待服务恢复；二是达到统一的服务等待上限后保留缺失、比较其余模型；三是把能够确认的服务故障等待排除在做题时间之外。第三种需要精确区分服务失败与模型长时间思考，所有模型采用同一规则。若已有独立题成绩公开，恢复缺席模型应进入新一轮，使用新的独立题。

20. 共同起点需要多强，才不会主要测“补明显缺项”？

首批接班中，Claude 和 GLM 都修改了执行命令的方式，处理初代记录里切换目录失败的问题。Kimi、Claude 和 GLM 都增加了结束前的检查，或在没有交付成果时提醒自己继续；也都增加了长记录的处理。这些是实际程序改动，效果正在后续任务中检验。

独立题里，Claude 初代的生产看板和薪酬工作簿都在单次回复达到长度上限后结束，未交付文件。初始程序没有区分“暂时无法继续输出”和“任务已经完成”。这类已知的结束条件也应纳入完善后的共同起点。

讨论：正式主实验是否同时使用原版起点和完善后的共同起点？ 原版起点与已有工作容易对照；完善后的起点统一提供正常工作的基础工具、剩余时间提示和基本交付检查，更能判断持续改进是否超出补齐常见功能。若第一代收益主要来自这些修补，需要在完善后的起点上重复整条链。

增加检查也会增加调用。可以给初代同样多的一次复查机会，再比较它和真正修改过的程序，检查收益来自新的做法还是额外工作量。对应的关键证据是独立题成绩、实际调用量和后续接班成功率，而不是程序改动行数。[1,2]

21. 时间到时已有可运行的候选，但没有正常结束，算不算成功接班？

本轮 Qwen Flash 的第一次改进到时未正常返回，DeepSeek 的第一次改进以服务错误结束。独立题开放后，对两者在截止时已经保存的候选做了额外的本地检查：它们都能通过原先的基本运行检查。检查没有调用真实模型，也没有修复候选；两份候选仍未被本轮接纳。

这个结果说明“能够写出可启动的新程序”和“在限定时间内完整交接”需要分别观察。GLM 的第二代则确实存在语法错误，无法启动。

讨论：下一轮按哪个交接条件验收？

Self-Evolving Harness 在基本检查失败时启动修复会话，公式（5）规定未通过检查时沿用旧版本；Evo-Bench 按迭代、时间和步骤预算结束后冻结最终版本。[1,2] 正式实验应先确定主要规则，再用其他规则作对照。当前这轮保持原验收记录，比较其实际产生的 11 个版本。

22. 裁判用完回复额度却没给结论，如何统一处理？

本轮部分合作协议比较中，Claude 裁判连续用完 16,384 或 32,768 的回复额度，返回的可见结论为空。原记录显示回复被截断，因此不能把它算作平局或参赛成果失败。

本轮已按明确的截断记录补评：只增加这次裁判的回复额度，保留成功判断，题目、材料、思考设置与判胜方法不变。补评后已有整组比较完成。参赛模型每题和每次改进的一小时、300 次请求没有改变。

讨论：正式实验采用固定充足额度，还是在截断后按统一规则增加额度？ 前者更容易比较裁判成本，后者减少简单比较的预留空间，但必须事先规定增加条件、上限与最大尝试次数。还应分别报告裁判没能给结论、两位裁判意见不同，以及交换左右位置后改变判断，不能把三者混成一种缺失。

23. 一条错误命令耗尽整题，是否属于模型退步？

Kimi 第一代在生产看板题中生成了不会结束的检查命令。原程序应在两分钟后返回，但没有返回，最终用完整题时限而未交文件。把同类命令交给共同初代和第一代的独立副本，两者都无法执行约定的单条命令超时；检查没有调用真实模型。

讨论：哪些停止规则由共同环境强制执行，哪些由可改进的程序负责？ 模型生成错误命令与运行环境没有及时停止它，应分别记录。下一轮应先验证单条命令、整题和子进程回收，使用新的独立题比较修复后的表现。当前原分保留，并标明这处运行故障。详见 独立题运行复核。

24. 连接中断后怎样恢复，额外时间怎样比较

本次按用户要求只补连接和评分中断：DeepSeek 第一次改进、GPT 生产排程开发题、Qwen Flash 独立薪酬题。沿用已完成的回复和文件操作，每个中断项另加最多一小时，旧时间和调用继续计入；已经明确失败的改进不重试。裁判新增十分钟无内容等待限额，整次回复时限不变。

补跑后，两道作答均已评分，但没有新增成功接班。DeepSeek 用完追加时间；GPT 补齐开发题后开始第一次改进，也在一小时结束时未能交接。这次 GPT 改进共 23 次请求、18 次成功返回，未成功完成的请求累计约 35.5 分钟。这个差异需要进入时间统计，不能只看名义上的“一小时”。

讨论：是否暂停服务故障期间的计时、恢复次数是否统一，以及补跑结果是否只放在补充实验？ 当前已看过原轮独立题，后续接班仍只使用开发反馈，但主结论应在新独立题上重复。详见 连接与评分补跑。

25. 怎样把进化记录变成训练数据，并检验训练是否有效？

原始作答、开发反馈、修改过程和前后程序已经保存，尚未整理成训练数据集，也未进行 SFT。训练目标是让模型更会改进工作程序，并让后代继续改下去。

建议先以“修改前的程序 + 开发反馈”为输入，保留可见的检查、操作和修改过程，以新程序和开发验证为输出。按任务来源和进化链分组划分数据；独立测试题及其评分不参与样本选择或训练。训练后让同一个模型从共同起点再跑竞技场，与训练前采用相同任务和资源规则。

讨论：先训练哪个可训练模型；训练成功改进，还是同时训练失败后的修复；如何把数据量与样本质量的作用分开？ 最终仍用系统总实力、相对改进和程序互换三项评价，并检查能否连续完成更多次接班。完整数据路线见 项目说明。

论文要增加的证据

“用 Arena 比较”与“把改程序作为模型能力”都有直接先例，单独组合两个名词不足以构成贡献。值得争取的是：统一的真实接班协议；逐代、多领域、可重复的差异；固定改进程序与共同起点分支解释差异来自哪里；成本与迁移说明收益能否复用。

若第一轮只发现从初始程序补上明显缺失的功能就涨分，应改用更强的共同起点复测。若终点高但后代更难继续改，或者某些领域反复失去原有能力，这些也是研究结果，需要用任务记录解释原因。

依据

1. Evo-Bench，§3、§4、§5.1、Appendix E；固定版本代码，data_construction/README.md、evaluation/runner.py、evaluation/metrics.py、policy/adapter.py。

2. Self-Evolving Harness，§3.2–3.5、§4、§6、Appendix B；普通任务形式的自修改、运行检查、批次与修复规则。

3. HarnessDev，§3–4；创建者与执行者的区分。

4. Harness Updating Is Not Harness Benefit，§3–5；更新收益与使用收益的交叉比较。

5. Self-Harness，§3.3–3.4；候选筛选；与条目 2 是不同工作。

6. AIDE²，§3.6 ignition test；同一初始状态下三次独立比较。

7. Auditing the Product, Not the Recursion，§4.1–4.3；轨迹、选择与归因。

8. SEAGym，§3–4、Appendix D；中间版本、退步和跨分布评测。

9. RSI Arena，§2–4；匿名人类成对比较；其优化对象主要是模型权重。

本地论文正文、来源地址和内容校验记录见 research/2026-10-30/sources/。实验运行与维护步骤另见 Evo 运行说明。