RSI Arena
← 返回本轮实验

10 道 Evo 原题:实际结果

本次汇总:2026-10-31 17:54,北京时间。

计划让六个模型从同一份程序出发,用五道开发题改进两次,再用另外五道原题比较各代。每个模型运行一条链。

独立题:54/55 份已评分,1 份服务中断,0 份待评分。匿名比较:61/66 组已完成。5 组因原作答缺失单独保留。

同一组独立题上的逐代表现

线性逻辑题发现误判:题目允许不同构造,但原裁判按参考形式判断,Claude 初代、第二代和 GPT 初代的有效构造因此得零分。相同规则已应用到全部版本;Kimi 第一代的构造有明确反例,仍判为不成立。

分段函数题也存在误判:Kimi 初代与第二代的写法不同于参考形式,但满足同一题意。一般证明、3,222 个点的检查和全部允许取值的验证均通过。两道题共发现 5 份此类误判,图中展示复核结果;原评分同时保留。全部版本的复核结果、证明与适用范围。

每个模型走到了哪里

模型成功接班初代推理复核最后版本推理复核初代职业评分最后版本职业评分
DeepSeek Flash0/21/2 题1/2 题57.8%57.8%
Claude Opus 5.52/22/2 题2/2 题16.3%54.7%
Qwen 3.8 Flash0/21/2 题1/2 题已评 2/3;服务中断 1已评 2/3;服务中断 1
GLM 5.31/20/2 题1/2 题39.9%64.4%
GPT 6.10/22/2 题2/2 题68.5%68.5%
Kimi K32/21/2 题1/2 题67.1%66.7%

GLM 5.3 的第 2 代未能接班:新程序有语法错误,无法运行。

Qwen 3.8 Flash 的第 1 代未能接班:改进过程没有正常交付新版本。

DeepSeek Flash 的改进过程在服务中断中用完原定时限,后续改进停止。已存在的版本继续参加独立题。

GPT 6.1 的开发题作答在服务中断中用完原定时限,后续改进停止。已存在的版本继续参加独立题。

表中职业评分表示满足原评分条目的程度。未产生后代的模型,用最后实际存在的版本作比较;缺少的代数没有补零。

Kimi 第一代的生产看板漏交还涉及运行故障:模型写了一条不会结束的命令,本机的单条命令超时没有返回。共同初代与第一代的独立副本都能复现这处故障。因此这次零分不能单独用来认定改进损害了能力。运行记录与独立复现。

同一模型改进前后:职业题原评分

模型比较题目来源新版胜 / 平 / 旧版胜未完成
Claude Opus 5.5第 1 代对第 0 代GDPVAL3 / 0 / 00
Claude Opus 5.5第 2 代对第 1 代GDPVAL1 / 2 / 00
Claude Opus 5.5第 2 代对第 0 代GDPVAL3 / 0 / 00
GLM 5.3第 1 代对第 0 代GDPVAL2 / 0 / 10
Kimi K3第 1 代对第 0 代GDPVAL2 / 0 / 10
Kimi K3第 2 代对第 1 代GDPVAL1 / 2 / 00
Kimi K3第 2 代对第 0 代GDPVAL2 / 0 / 10

上表按原题成绩逐题比较。下面的职业成果比较只依据原题要求、参考材料和实际成果,裁判看不到原评分条目。

匿名比较:改进后的工作是否更好

模型比较新版胜持平旧版胜裁判分歧未比较
Claude Opus 5.5第 1 代对第 0 代20010
Claude Opus 5.5第 2 代对第 1 代10110
Claude Opus 5.5第 2 代对第 0 代20010
GLM 5.3第 1 代对第 0 代10110
Kimi K3第 1 代对第 0 代10110
Kimi K3第 2 代对第 1 代10110
Kimi K3第 2 代对第 0 代00030

匿名比较:各模型最后版本

每个模型在三道职业题上分别与其他五个模型比较。两位裁判均交换左右位置,意见不同的题保留为分歧。

模型最后版本胜持平负裁判分歧未比较
DeepSeek Flash第 0 代51621
Claude Opus 5.5第 2 代100041
Qwen 3.8 Flash第 0 代10545
GLM 5.3第 1 代20931
GPT 6.1第 0 代202101
Kimi K3第 2 代51351

哪些比较需要进一步检查

在 61 组已有完整裁判判断的比较中,23 组存在两位裁判之间的分歧,8 组出现同一裁判在交换左右位置后改变偏好的情况。

两种比较都没有裁判分歧的有 32 组,其中 4 组的结果彼此不同。两份成果原分相同的有 7 组,其中 3 组在成对比较中出现了偏好。

逐题页面同时提供双方成果与裁判理由,可以检查差异是否来自原题要求、实际使用表现或裁判未能看到的材料。

两道推理题:原评分与复核结果

模型版本原判答对复核答对
DeepSeek Flash第 0 代1/21/2
Claude Opus 5.5第 0 代1/22/2
Claude Opus 5.5第 1 代2/22/2
Claude Opus 5.5第 2 代1/22/2
Qwen 3.8 Flash第 0 代1/21/2
GLM 5.3第 0 代0/20/2
GLM 5.3第 1 代1/21/2
GPT 6.1第 0 代1/22/2
Kimi K3第 0 代0/21/2
Kimi K3第 1 代1/21/2
Kimi K3第 2 代0/21/2

实际调用

用途已发请求正常完成的返回失败或未完成的返回已记录的失败用时
做题2588253949156.6 分钟
匿名评审12538224311166.9 分钟
原题评分15711344217.4 分钟
程序改进86686335.8 分钟

失败用时按已记录的单次时长相加,并发的等待分别计入。部分失败已在后续请求恢复。所有调用都属于用户确认的六个模型。

接班关系核对

已核对 5 次有效接班:主持改进的确实是当代程序,独立评测使用的也是被接纳并冻结的程序。

首次接班前统一补齐职业评分的参考材料,并保留原草稿分数。评分修正不计作模型进步。后续实验需要增加独立重复、固定初代改进对照和跨模型使用,设置清单见项目讨论文档。

各代改了什么,效果怎样 · 下一轮需要讨论的设置