之前和现在,实验设置有什么不同
这里的“之前”指早期试跑:每个模型一条链,最多两次接班。“现在”指首页这轮实验:每个模型两条独立的链,每条最多五次接班。
旧版已经做到了后代亲自接班,但共同资源条件还不够完整。现在沿用这套接班方式,补上累计用量限制、重复实验和跨模型使用。
按原设想逐项对照
| 你的要求 | 早期试跑 | 现在这轮 |
| 各模型从同一份起始程序出发 | 已做到 | 保持;两轮使用的起始程序也相同 |
| 相同训练任务和反馈方式 | 共同的五道开发题,反馈自己的过程、成果、成绩和评语 | 沿用这五题与反馈范围;五题反馈齐全后才允许改进,旧轮记录不交给新参赛程序 |
| 后代接管做题与改进 | 已做到;Claude、Kimi 都有第一代亲自构造第二代的记录 | 保持,并逐次核对构造者与父代是不是同一个程序 |
| 相同请求次数与时间 | 每题、每次改进最多 300 次模型请求、60 分钟 | 保持;另外统一限制累计发送材料和累计输出总量 |
| 中断后仍遵守原条件 | 三处指定中断各追加最多一小时;累计请求数仍受原上限限制 | 只使用原剩余时间和额度;服务中断、程序失败分别记录 |
| 看谁能持续走得更远 | 每模型一条链,最多两次接班 | 每模型两条独立的链,每条最多五次接班 |
| 保留退步 | 新程序能正常接班就继续,成绩下降也接班 | 保持;原样交付另外记为停滞,继续尝试下一代 |
| 用新题比较改进效果 | 另有五道测试题;最后一代不再做开发题 | 换成此前未跑的五道测试题;所有实际版本都做开发题,全部链固定后再测试各代 |
| 把改出的程序交给别的模型 | 未做 | 已安排:每条链最后成功的程序原样交给其他模型;结果尚待完成 |
旧版的原样交付会因没有改动而停止;现在允许原样接班并记为停滞。因此,两轮的接班长度也不能直接当作相同规则下的成绩比较。
后代亲自接班,具体是怎样发生的
两轮都让同一个模型贯穿整条链,只改变它使用的工作程序:
1. 初代完成共同开发题,读取自己的反馈,改出第一代。
2. 第一代接管做题,随后运行第一代自己的改进过程,构造第二代。
3. 第二代再接管这两项工作,继续产生后代。
早期试跑中,Claude 和 Kimi 都完成了第二步。已核对实际改进记录:当时运行的就是各自的第一代程序。你的“第 g+1 代亲自构造第 g+2 代”要求,在旧版中已经实现。
“相同预算”现在具体指什么
现在统一的是每道题、每次改进的可用上限。 同一轮中,各模型获得相同的请求次数、时间、发送材料与输出总量上限。“300 次”指向模型发起请求的次数,不是模型内部的思考步数。
整条链没有另设一个可以跨代自由分配的总预算。走过更多代,就会多执行相应的做题和改进轮次;实际总消耗也可能更多。每条链最多五次接班,使所有模型获得同样多的尝试机会,但不会让它们实际花掉同样的钱。
各家服务的价格和内部计算量不同,底层算力也不可见。因此,旧版和现在都没有做到实际费用与实际算力完全相同。若要回答“给同样一笔总预算,谁能走得更远”,下一轮需要预先固定整条链的总额度,另行比较。
怎样理解“走得更远”
要同时看成功接班了几次,以及各代在新题上有没有提高。能连续交接五次,不代表成绩连续提高;成绩下降也会如实保留。
第五代是这轮设定的观察终点。走到第五代,表示完成了本轮全部机会;它之后还能走多远,需要更长的实验。
两轮的停止规则、资源限制和测试题不同。它们适合用来说明方法如何完善,成绩应分别解读。当前这轮的三项比较仍是:最终系统谁最强、各自比初代进步多少、改出的程序交给其他模型后是否有效。