RSI Arena
← 返回本轮实验

本轮规则与仍需讨论的选择

更新:2026-11-02。项目想回答:给模型相同起点与机会,让后代亲自接管做题和继续改进,谁能走得更远?

先读项目介绍,看实时进度。下面先列本轮已采用的规则,再列需要团队斟酌的研究选择。此前的论文依据、运行问题和补跑经过保存在历史讨论记录。

这轮已经固定

内容执行方式
参赛者六个已确认的模型;每个模型两次独立重复
共同起点完全相同的起始工作程序、五道开发题、工具与反馈方式
亲自接班当代做题、读取自己的反馈,再亲自构造后代;后代负责下一次改进
观察长度每条链最多接班五次,最后一代也完成开发题
共同资源每题和每次改进采用相同的请求数、时间、输入和输出上限;总调用不限
下降和停滞成绩下降仍接班,原样交付记为停滞;交接失败则停在上一代
独立测试全部链结束后固定版本,再开放五道此前未运行的新题
最终版本使用最后成功接班的程序,不按测试成绩挑最好的一代
三项比较最终系统之间、各代与自己的初代、最终程序原样交给其他模型
三项指标计算每题按原分计算末代实力、末代减初代、换模型后的得分与变化;不再增加成对评审
中断接续只补连接与评分中断,保留已完成成果,沿用剩余时间与额度
训练数据保存修改前程序、开发反馈、修改过程和后代效果;独立题不参与选样本

每次重复都包含六乘六种程序与使用者组合。相同程序、使用者和题目在同一次重复中已有成果时明确复用,两次重复之间不复用。完整数值见本轮规则。

11月2日进一步确定:十道题分别完成上述三项指标,不再执行原先安排的额外成对评审。每题36份各代评分和72份程序互换结果保持;前两项从已有各代分数计算,第三项完成实际程序互换后计算。三项指标说明。

优先处理的实际问题

1. 题目与反馈中的冲突如何修正

矩阵分解与 Frobenius 数原题没有固定第二部分矩阵的尺度。已构造同样达到最优条件、却产生不同答案的整数例子。GPT 与 GLM 指出不唯一,仍被原评分按不匹配参考数字判零分。原题、反例与实际作答均已公开。

本轮保留原分。扩大实验前,需要决定补齐定义与完整解答,还是换一道能独立核对的题。训练前也要区分更好的推理和对参考数字的迎合。

生产排程题也存在一处具体冲突:模板要求按天向上取整,原评分却要求汇总值等于未取整的精确工时。已从GPT提交的文件重新算出两者分别为590.14与591、662.14与663分钟。查看原模板与原评分的核对。需要决定如何统一评分口径,并标注受冲突反馈影响的训练记录。

2. 服务中断占用的时间怎样处理

本轮计入连接等待,接续不加时。Claude 一份开发作答曾出现账户验证提示;随后原通道的检查和原中断请求都已正常返回,已从原进度接续,仍使用剩余额度。没有更换账号或增加资源。目前全部进化已停止,36个实际版本已固定。

下一轮需要预先决定:故障等待是否暂停计时、最多恢复几次、耗尽额度后如何报告。建议同时展示完成任务的用时和失败请求的用时,让模型能力与服务稳定性都能被看见。

Kimi 的完整返回使用了不同的结束标记,已依据原始内容修正读取和用量;其第一条链第四代的恢复也已还原原请求的输出上限。41个已保存回复全部核对后,完成了原样接续。Qwen第五代的一道题因时间和文件状态无法原样重放,改为从已有文件重新开始,只用原剩余额度。电脑重启还中断了Kimi第二条链,该项保守计入直到重启的全部时间,再按剩余额度恢复。本轮中断与恢复分别列出这些情况。下一轮应提前固定恢复方式,并检验工作记录是否足以接续。

Kimi两条链接续后,均用完了原时间,分别未能交出第五代和第二代。11月2日已确认保留中断,用最后成功的第四代和第一代进入新题测试,不追加时间。GPT第二条链随后同样用完原时间,已确认保留第一代。原十题的逐题评估正在继续。

GPT第一条链还有另一种影响:构造第三代时,14次请求中8次失败,未返回用量的预留占用522,141个输出单位,已确认输出仅2,147个;两者合计达到524,288的共同上限。这条停止应说明服务失败与额度规则的共同影响,不能写成实际生成量已耗尽。具体停止记录。

Claude第二条链已经交出新版,但短时检查中,程序算出的可用时间约22秒,它自己要求至少剩45秒才调用模型,因此未发起请求就退出。下一轮应讨论检查时长和新版时间门槛怎样统一:这项记录反映时间设置冲突,不能仅凭它推断新版在正常做题时也无法工作。具体记录。

11月2日已确认生成额度的处理。 明确在生成前被拒收的请求继续计入请求次数、输入量和实际等待时间,不占生成额度;真正未完整返回、无法核实用量的请求仍保留原预留值。同一证据规则适用于所有模型,保留原始记录与调整依据,已完成成绩和明确失败不重做。GPT两道题共13次明确拒收符合条件,另外3次未知用量仍保留。下一轮应在开始前固定这一口径,再检查是否改变各模型的停止位置。

3. 训练用哪个模型和资源

正在收集的正例要求:程序确有修改、正常接班,且下一代完整开发成绩不低于父代。同一来源模型的所有代与两次重复放在同一组,避免相关改进同时进入训练和验证。

11月2日03:34的阶段整理已包含32条改进记录,其中14条符合选样规则,9条因开发成绩下降未选入,6条交接失败,另3条仍缺完整成果。Qwen第五代的成绩已经补齐,其最后一次改进因成绩下降未入选。按原定来源分组,训练9条、验证5条、测试0条。测试组预留给GPT来源的改进,目前没有符合条件的样本;后续需要补足,原分组保持不变。

本轮最多产生60次完整改进记录。按四个来源模型用于训练、各一个用于验证和测试的划分,训练部分最多40条,实际还会因失败、退步或材料不完整而减少。扩大数据时,应增加独立起点和开发任务组合,保留每次改进前后的完整关系。

长度也需要实际处理。当前样本最长约60万字符,包含父代程序、五题反馈和完整修改。原始样本会完整保留;确定训练模型后,再用该模型实际的计数方式检查能否容纳,并决定是否分成相互关联的修改步骤。拆分后仍需保留每一步当时可见的材料和前后关系。

需要决定可训练的基础模型、训练设备和可用数据量。训练后,用同一个模型在相同资源下重新跑完整进化,并采用未参与训练的新任务。单看训练示例是否学会,不能回答是否更会持续改进。当前训练尚未开始。

形成论文需要决定的实验

4. 怎样确认后代更会继续改进

主线直接比较完整系统。要解释进步来自哪里,下一轮建议增加两种对照:一组始终由初代程序主持改进;另在预定代数,把初代和后代放回同一个待改程序、给相同反馈,分别再改一次。

Evo-Bench 使用固定外部改进程序;Self-Evolving Harness 已让后代接管改进;AIDE² 的 ignition test 使用共同程序起点。这些工作提供了可借用的比较方法。需要团队决定对照覆盖全部六个模型,还是先选两个模型检验方向。[1–3]

5. 扩展哪些任务,怎样检验跨领域表现

本轮是十道 Evo-Bench 原题。Evo 的完整 608 题来自已有数据集,并经过对程序变化的区分度筛选;它们适合研究程序改进,但不代表任意真实工作。

下一步建议增加真实终端和代码任务,并完整留出一个没有参与改进的任务来源。需要决定优先扩领域,还是先增加现有领域的题量。相关工作的题目来源、筛选流程与可复用代码见历史依据。[1,2,4]

6. 延长多少代,重复多少次

本轮每模型两条链、每条最多五次接班。后续建议根据链间波动确定重复次数,并给所有模型相同的延长条件。如果波动大,先增加重复;如果多数链仍在进步,再延长代数。不能只给领先模型更多机会。

“至少不掉”需要事先约定可接受多大下降,再检查不同重复是否支持这一判断。五代的观察不能回答无限持续增长。

现在已看到明显的重复间差别:Claude 第一条链走到第五代,第二条在首次接班时失败;GLM 的两条链分别到第一代和第五代。论文应同时报告各条链及其分布,不能用某次最远的一条代表模型的稳定表现。

7. 相同资源最终按什么口径比较

本轮统一外部可以控制的上限。六家服务的内部计算量不可见,相同请求数也不等于相同费用。

已有四条链先达到累计材料上限:DeepSeek两次、Qwen第一次、GLM第一次。它们尚未用完300次请求或60分钟,下一次发送的材料却会超过64 MiB累计上限。这一额度累计计算每次发送的完整上下文,包括重复发送的内容。每条链的具体用量。

建议下一轮同时设置两个统一的材料额度,并区分新增内容与重复内容,观察停止位置和排名是否随额度改变。本轮继续保留原额度与停止结果。

论文需要决定主要采用相同时间、相同文本处理量,还是相同金额;再展示表现随投入变化的曲线。成本数据未核实前,使用实际请求量和时间,不估造费用。

8. 人工复核怎样安排

本轮两位评审交换左右位置,网页展示每次判断与分歧。正式实验建议按领域抽取一部分成果人工复核,并覆盖评审分歧、双方失败和原分相同却有明显偏好的情况。

需要决定复核比例和负责人,以及职业成果的哪些关键功能必须实际打开检查。长表格和文档要记录评审真正看过的范围,不能只凭摘要判断质量。

9. 换一个共同起点,结论是否仍成立

本轮所有模型使用同一份起始程序。正式实验建议再选一份合理的共同程序,检查模型间差异是否仍然存在。若主要收益都来自修复某个起点的单一缺陷,这本身就是需要解释的结果。

论文主线

本项目把系统总实力、相对改进和程序泛化放进同一套真实接班实验。论文要交付可重复的模型差异,解释哪些改变帮助后代继续改进、哪些改变导致停滞或退步;再检验收集到的改进经验是否能教出更会自我改进的模型。

当前先完整跑完已固定的十题实验,保存真实结果。扩大题库、增加对照与训练属于下一阶段的选择,不混入本轮成绩。

研究依据

1. Evo-Bench:方法、题库与构造流程。

2. Self-Evolving Harness:当代程序兼任做题与改进。

3. AIDE²:共同起点的 ignition test。

4. HarnessDev:建设、修改与使用程序的比较。

5. 历次设置和更多相关工作。