RSI Arena
← 返回本轮实验

每道题,只看三项指标

本轮研究模型持续改进自己工作程序的能力。六个模型从同一份程序出发,每个模型独立重复两次。每代完成相同的五道改进题,读取自己的反馈,亲自构造下一代;下一代接手做题,也负责再下一次改进。

进化结束后,保留每条链最后成功接班的版本。用原来的十道题分别评估,不为每一道题重新进化,也不把十道题合成一个总分。

指标怎样计算回答什么
系统总实力模型使用自己的末代程序,在本题上的得分最后哪个“模型+程序”最强
相对改进能力本题末代得分 − 同一模型、同一次重复的初代得分模型把自己改好了多少
程序泛化性将一个模型的末代程序原样交给其他模型,记录本题得分及相对使用者初代的变化改出的程序能否帮助其他模型

每项先分别展示两次重复的结果,两次都有分后再计算平均值。分数相同则并列;未完成的评分保持空缺。

1. 系统总实力

使用每条链的最后成功版本。比如一条链各代得分为 40、55、48,末代分数就是 48。55 是中途最高分,不能代替最终表现。

新版分数下降仍然接班,只有交接未完成或达到本轮终点才停止。各条链的停止原因与得分一起展示。查看具体停止记录。

2. 相对改进能力

以上例子相对初代提高 8 分。网页同时保留各代曲线、完整答卷和逐项评分,以区分持续提升、中途提高后退步、始终没有变化。

这里的“相对”是与自己的初代比较,采用分数差。初代为零分也可以计算,不把分数差除以初代分数。

3. 程序泛化性

例如,将 Claude 改出的程序交给 Kimi,比较“Kimi+Claude 的末代程序”和“Kimi+共同起始程序”的本题得分。模型使用者保持为 Kimi,改变的是工作程序。

每次重复有六种程序来源、六个使用者,共 36 种组合。两次共 72 份结果,其中 60 份是交给其他模型,12 份是原模型使用自己程序的对照。矩阵的行是程序来源,列是使用者;每格展示得分和相对使用者初代的变化。

相同程序、使用者和题目在同一次重复内已有答卷时,明确标注复用;两次重复分别保留。

分数怎样得到

确定答案的题使用原题评分。职业任务按原评分条目评价交付文件,保留每项得分和理由。三项指标都来自这些原分。完整判分说明。

当前评估不再增加两份答卷之间的成对评审,也不把这项评审作为完成条件。网页并排展示两代答卷,是为了便于读者查看变化,不会因此额外调用评审。

怎样理解十道题

五道改进题的分数曾提供给模型用于改进,说明它对已有任务的适应。另五道题在全部程序固定后才开放,说明改进能否延续到未参与改进的题目。网页逐题标明这两种用途。

返回项目首页 · 共同条件 · 十道题的结果