本轮规则与仍需讨论的选择
更新:2026-11-02。项目想回答:给模型相同起点与机会,让后代亲自接管做题和继续改进,谁能走得更远?
先读项目介绍,看实时进度。下面先列本轮已采用的规则,再列需要团队斟酌的研究选择。此前的论文依据、运行问题和补跑经过保存在历史讨论记录。
这轮已经固定
| 内容 | 执行方式 |
| 参赛者 | 六个已确认的模型;每个模型两次独立重复 |
| 共同起点 | 完全相同的起始工作程序、五道开发题、工具与反馈方式 |
| 亲自接班 | 当代做题、读取自己的反馈,再亲自构造后代;后代负责下一次改进 |
| 观察长度 | 每条链最多接班五次,最后一代也完成开发题 |
| 共同资源 | 每题和每次改进采用相同的请求数、时间、输入和输出上限;总调用不限 |
| 下降和停滞 | 成绩下降仍接班,原样交付记为停滞;交接失败则停在上一代 |
| 独立测试 | 全部链结束后固定版本,再开放五道此前未运行的新题 |
| 最终版本 | 使用最后成功接班的程序,不按测试成绩挑最好的一代 |
| 三项比较 | 最终系统之间、各代与自己的初代、最终程序原样交给其他模型 |
| 三项指标计算 | 每题按原分计算末代实力、末代减初代、换模型后的得分与变化;不再增加成对评审 |
| 中断接续 | 只补连接与评分中断,保留已完成成果,沿用剩余时间与额度 |
| 训练数据 | 保存修改前程序、开发反馈、修改过程和后代效果;独立题不参与选样本 |
每次重复都包含六乘六种程序与使用者组合。相同程序、使用者和题目在同一次重复中已有成果时明确复用,两次重复之间不复用。完整数值见本轮规则。
11月2日进一步确定:十道题分别完成上述三项指标,不再执行原先安排的额外成对评审。每题36份各代评分和72份程序互换结果保持;前两项从已有各代分数计算,第三项完成实际程序互换后计算。三项指标说明。
优先处理的实际问题
1. 题目与反馈中的冲突如何修正
矩阵分解与 Frobenius 数原题没有固定第二部分矩阵的尺度。已构造同样达到最优条件、却产生不同答案的整数例子。GPT 与 GLM 指出不唯一,仍被原评分按不匹配参考数字判零分。原题、反例与实际作答均已公开。
本轮保留原分。扩大实验前,需要决定补齐定义与完整解答,还是换一道能独立核对的题。训练前也要区分更好的推理和对参考数字的迎合。
生产排程题也存在一处具体冲突:模板要求按天向上取整,原评分却要求汇总值等于未取整的精确工时。已从GPT提交的文件重新算出两者分别为590.14与591、662.14与663分钟。查看原模板与原评分的核对。需要决定如何统一评分口径,并标注受冲突反馈影响的训练记录。
2. 服务中断占用的时间怎样处理
本轮计入连接等待,接续不加时。Claude 一份开发作答曾出现账户验证提示;随后原通道的检查和原中断请求都已正常返回,已从原进度接续,仍使用剩余额度。没有更换账号或增加资源。目前全部进化已停止,36个实际版本已固定。
下一轮需要预先决定:故障等待是否暂停计时、最多恢复几次、耗尽额度后如何报告。建议同时展示完成任务的用时和失败请求的用时,让模型能力与服务稳定性都能被看见。
Kimi 的完整返回使用了不同的结束标记,已依据原始内容修正读取和用量;其第一条链第四代的恢复也已还原原请求的输出上限。41个已保存回复全部核对后,完成了原样接续。Qwen第五代的一道题因时间和文件状态无法原样重放,改为从已有文件重新开始,只用原剩余额度。电脑重启还中断了Kimi第二条链,该项保守计入直到重启的全部时间,再按剩余额度恢复。本轮中断与恢复分别列出这些情况。下一轮应提前固定恢复方式,并检验工作记录是否足以接续。
Kimi两条链接续后,均用完了原时间,分别未能交出第五代和第二代。11月2日已确认保留中断,用最后成功的第四代和第一代进入新题测试,不追加时间。GPT第二条链随后同样用完原时间,已确认保留第一代。原十题的逐题评估正在继续。
GPT第一条链还有另一种影响:构造第三代时,14次请求中8次失败,未返回用量的预留占用522,141个输出单位,已确认输出仅2,147个;两者合计达到524,288的共同上限。这条停止应说明服务失败与额度规则的共同影响,不能写成实际生成量已耗尽。具体停止记录。
Claude第二条链已经交出新版,但短时检查中,程序算出的可用时间约22秒,它自己要求至少剩45秒才调用模型,因此未发起请求就退出。下一轮应讨论检查时长和新版时间门槛怎样统一:这项记录反映时间设置冲突,不能仅凭它推断新版在正常做题时也无法工作。具体记录。
11月2日已确认生成额度的处理。 明确在生成前被拒收的请求继续计入请求次数、输入量和实际等待时间,不占生成额度;真正未完整返回、无法核实用量的请求仍保留原预留值。同一证据规则适用于所有模型,保留原始记录与调整依据,已完成成绩和明确失败不重做。GPT两道题共13次明确拒收符合条件,另外3次未知用量仍保留。下一轮应在开始前固定这一口径,再检查是否改变各模型的停止位置。
3. 训练用哪个模型和资源
正在收集的正例要求:程序确有修改、正常接班,且下一代完整开发成绩不低于父代。同一来源模型的所有代与两次重复放在同一组,避免相关改进同时进入训练和验证。
11月2日03:34的阶段整理已包含32条改进记录,其中14条符合选样规则,9条因开发成绩下降未选入,6条交接失败,另3条仍缺完整成果。Qwen第五代的成绩已经补齐,其最后一次改进因成绩下降未入选。按原定来源分组,训练9条、验证5条、测试0条。测试组预留给GPT来源的改进,目前没有符合条件的样本;后续需要补足,原分组保持不变。
本轮最多产生60次完整改进记录。按四个来源模型用于训练、各一个用于验证和测试的划分,训练部分最多40条,实际还会因失败、退步或材料不完整而减少。扩大数据时,应增加独立起点和开发任务组合,保留每次改进前后的完整关系。
长度也需要实际处理。当前样本最长约60万字符,包含父代程序、五题反馈和完整修改。原始样本会完整保留;确定训练模型后,再用该模型实际的计数方式检查能否容纳,并决定是否分成相互关联的修改步骤。拆分后仍需保留每一步当时可见的材料和前后关系。
需要决定可训练的基础模型、训练设备和可用数据量。训练后,用同一个模型在相同资源下重新跑完整进化,并采用未参与训练的新任务。单看训练示例是否学会,不能回答是否更会持续改进。当前训练尚未开始。
形成论文需要决定的实验
4. 怎样确认后代更会继续改进
主线直接比较完整系统。要解释进步来自哪里,下一轮建议增加两种对照:一组始终由初代程序主持改进;另在预定代数,把初代和后代放回同一个待改程序、给相同反馈,分别再改一次。
Evo-Bench 使用固定外部改进程序;Self-Evolving Harness 已让后代接管改进;AIDE² 的 ignition test 使用共同程序起点。这些工作提供了可借用的比较方法。需要团队决定对照覆盖全部六个模型,还是先选两个模型检验方向。[1–3]
5. 扩展哪些任务,怎样检验跨领域表现
本轮是十道 Evo-Bench 原题。Evo 的完整 608 题来自已有数据集,并经过对程序变化的区分度筛选;它们适合研究程序改进,但不代表任意真实工作。
下一步建议增加真实终端和代码任务,并完整留出一个没有参与改进的任务来源。需要决定优先扩领域,还是先增加现有领域的题量。相关工作的题目来源、筛选流程与可复用代码见历史依据。[1,2,4]
6. 延长多少代,重复多少次
本轮每模型两条链、每条最多五次接班。后续建议根据链间波动确定重复次数,并给所有模型相同的延长条件。如果波动大,先增加重复;如果多数链仍在进步,再延长代数。不能只给领先模型更多机会。
“至少不掉”需要事先约定可接受多大下降,再检查不同重复是否支持这一判断。五代的观察不能回答无限持续增长。
现在已看到明显的重复间差别:Claude 第一条链走到第五代,第二条在首次接班时失败;GLM 的两条链分别到第一代和第五代。论文应同时报告各条链及其分布,不能用某次最远的一条代表模型的稳定表现。
7. 相同资源最终按什么口径比较
本轮统一外部可以控制的上限。六家服务的内部计算量不可见,相同请求数也不等于相同费用。
已有四条链先达到累计材料上限:DeepSeek两次、Qwen第一次、GLM第一次。它们尚未用完300次请求或60分钟,下一次发送的材料却会超过64 MiB累计上限。这一额度累计计算每次发送的完整上下文,包括重复发送的内容。每条链的具体用量。
建议下一轮同时设置两个统一的材料额度,并区分新增内容与重复内容,观察停止位置和排名是否随额度改变。本轮继续保留原额度与停止结果。
论文需要决定主要采用相同时间、相同文本处理量,还是相同金额;再展示表现随投入变化的曲线。成本数据未核实前,使用实际请求量和时间,不估造费用。
8. 人工复核怎样安排
本轮两位评审交换左右位置,网页展示每次判断与分歧。正式实验建议按领域抽取一部分成果人工复核,并覆盖评审分歧、双方失败和原分相同却有明显偏好的情况。
需要决定复核比例和负责人,以及职业成果的哪些关键功能必须实际打开检查。长表格和文档要记录评审真正看过的范围,不能只凭摘要判断质量。
9. 换一个共同起点,结论是否仍成立
本轮所有模型使用同一份起始程序。正式实验建议再选一份合理的共同程序,检查模型间差异是否仍然存在。若主要收益都来自修复某个起点的单一缺陷,这本身就是需要解释的结果。
论文主线
本项目把系统总实力、相对改进和程序泛化放进同一套真实接班实验。论文要交付可重复的模型差异,解释哪些改变帮助后代继续改进、哪些改变导致停滞或退步;再检验收集到的改进经验是否能教出更会自我改进的模型。
当前先完整跑完已固定的十题实验,保存真实结果。扩大题库、增加对照与训练属于下一阶段的选择,不混入本轮成绩。
研究依据
2. Self-Evolving Harness:当代程序兼任做题与改进。
5. 历次设置和更多相关工作。