RSI Arena
← 返回本轮实验

六个模型在什么共同条件下比较

本轮统一起点、任务、反馈方式、改进机会和每次可用额度。共同进化结束后,原十题分别评估系统总实力、相对改进和程序泛化,覆盖六个模型、两次独立重复和全部实际版本。

已核对的内容

12 个起始程序完全相同。已保存的 30 次交接均由对应父代亲自构造;这 30 次交接对应的 150 份开发反馈,均与该父代自己的实际作答和评分相符。已有用量记录遵守同一套请求数、输入和输出上限。

两次独立重复使用同样的题干、原材料和评分规则。所有版本已在开放新测试前固定,程序互换也在看测试分数前确定:每条链使用最后成功接班的版本。

查看带检查时间的核对记录。记录中的“已核对”是检查当时的范围;运行中的作答会继续产生记录。

共同条件

项目设置
起始程序六个模型均从同一份程序出发
改进题离散状态模拟、矩阵分解、生产排程、零售计划、物业管理;顺序和材料相同
反馈方式每代拿到自己的输入、完整操作过程、成果、分数和评语;格式与内容范围相同
独立重复与接班机会每个模型独立重复两次,每条链最多接班五次
每题、每次改进的时间最多 60 分钟
每题、每次改进的请求最多 300 次;连接重试同样计数、计时
累计发送材料最多 64 MiB
输出额度单次最多 65,536 个文本单位,累计最多 524,288 个
本机资源相同运行环境;每个本机进程最多使用 600 秒计算时间,单个文件最多 200 MiB
同时运行同一个模型任何时刻只做一道参赛任务
新题测试所有进化链结束并固定后才开始,不把测试成绩交回改进过程
评分同一道题使用相同的原评分要求和评审方式
程序互换最后成功的程序原样交给其他模型;相同组合的已有结果明确标注复用
中断仅使用原剩余时间和额度恢复;明确失败不重做

同样的反馈方式不意味着给每个模型相同评语:反馈必须对应它自己做出的答案和成果,否则模型无法据此改进。

各家模型服务的内部计算量和价格不同。本轮能统一的是上述外部上限,不能把它表述为实际算力或实际费用相同。不同模型如何使用额度,也是观察结果的一部分。

额度按每道题、每次改进分别计算,没有另设整条链可自由分配的总预算。更早停止的链实际消耗会更少;走到第五代只是达到本轮观察终点。

怎样完成三项指标

先完成生产排程,再按十题顺序推进。每题分别保留各代得分与答卷,计算末代实力和比初代的变化,再测试程序交给其他模型后的表现。

单份职业成果由 GPT 6.1 按原条目评分。两道确定答案的新题直接核对原答案。当前不另加两份答卷之间的成对评审,完成标准是各代评分与程序互换结果齐全。查看三项指标的计算。

怎样判分 · 本轮完整规则 · 两轮设置对照