RSI Arena
← 返回本轮实验

之前和现在,实验设置有什么不同

这里的“之前”指早期试跑:每个模型一条链,最多两次接班。“现在”指首页这轮实验:每个模型两条独立的链,每条最多五次接班。

旧版已经做到了后代亲自接班,但共同资源条件还不够完整。现在沿用这套接班方式,补上累计用量限制、重复实验和跨模型使用。

按原设想逐项对照

你的要求早期试跑现在这轮
各模型从同一份起始程序出发已做到保持;两轮使用的起始程序也相同
相同训练任务和反馈方式共同的五道开发题,反馈自己的过程、成果、成绩和评语沿用这五题与反馈范围;五题反馈齐全后才允许改进,旧轮记录不交给新参赛程序
后代接管做题与改进已做到;Claude、Kimi 都有第一代亲自构造第二代的记录保持,并逐次核对构造者与父代是不是同一个程序
相同请求次数与时间每题、每次改进最多 300 次模型请求、60 分钟保持;另外统一限制累计发送材料和累计输出总量
中断后仍遵守原条件三处指定中断各追加最多一小时;累计请求数仍受原上限限制只使用原剩余时间和额度;服务中断、程序失败分别记录
看谁能持续走得更远每模型一条链,最多两次接班每模型两条独立的链,每条最多五次接班
保留退步新程序能正常接班就继续,成绩下降也接班保持;原样交付另外记为停滞,继续尝试下一代
用新题比较改进效果另有五道测试题;最后一代不再做开发题换成此前未跑的五道测试题;所有实际版本都做开发题,全部链固定后再测试各代
把改出的程序交给别的模型未做已安排:每条链最后成功的程序原样交给其他模型;结果尚待完成

旧版的原样交付会因没有改动而停止;现在允许原样接班并记为停滞。因此,两轮的接班长度也不能直接当作相同规则下的成绩比较。

后代亲自接班,具体是怎样发生的

两轮都让同一个模型贯穿整条链,只改变它使用的工作程序:

1. 初代完成共同开发题,读取自己的反馈,改出第一代。

2. 第一代接管做题,随后运行第一代自己的改进过程,构造第二代。

3. 第二代再接管这两项工作,继续产生后代。

早期试跑中,Claude 和 Kimi 都完成了第二步。已核对实际改进记录:当时运行的就是各自的第一代程序。你的“第 g+1 代亲自构造第 g+2 代”要求,在旧版中已经实现。

“相同预算”现在具体指什么

现在统一的是每道题、每次改进的可用上限。 同一轮中,各模型获得相同的请求次数、时间、发送材料与输出总量上限。“300 次”指向模型发起请求的次数,不是模型内部的思考步数。

整条链没有另设一个可以跨代自由分配的总预算。走过更多代,就会多执行相应的做题和改进轮次;实际总消耗也可能更多。每条链最多五次接班,使所有模型获得同样多的尝试机会,但不会让它们实际花掉同样的钱。

各家服务的价格和内部计算量不同,底层算力也不可见。因此,旧版和现在都没有做到实际费用与实际算力完全相同。若要回答“给同样一笔总预算,谁能走得更远”,下一轮需要预先固定整条链的总额度,另行比较。

怎样理解“走得更远”

要同时看成功接班了几次,以及各代在新题上有没有提高。能连续交接五次,不代表成绩连续提高;成绩下降也会如实保留。

第五代是这轮设定的观察终点。走到第五代,表示完成了本轮全部机会;它之后还能走多远,需要更长的实验。

两轮的停止规则、资源限制和测试题不同。它们适合用来说明方法如何完善,成绩应分别解读。当前这轮的三项比较仍是:最终系统谁最强、各自比初代进步多少、改出的程序交给其他模型后是否有效。

本轮完整规则 · 本轮中断与恢复 · 待团队讨论的设置