六个模型在什么共同条件下比较
本轮统一起点、任务、反馈方式、改进机会和每次可用额度。共同进化结束后,原十题分别评估系统总实力、相对改进和程序泛化,覆盖六个模型、两次独立重复和全部实际版本。
已核对的内容
12 个起始程序完全相同。已保存的 30 次交接均由对应父代亲自构造;这 30 次交接对应的 150 份开发反馈,均与该父代自己的实际作答和评分相符。已有用量记录遵守同一套请求数、输入和输出上限。
两次独立重复使用同样的题干、原材料和评分规则。所有版本已在开放新测试前固定,程序互换也在看测试分数前确定:每条链使用最后成功接班的版本。
查看带检查时间的核对记录。记录中的“已核对”是检查当时的范围;运行中的作答会继续产生记录。
共同条件
| 项目 | 设置 |
| 起始程序 | 六个模型均从同一份程序出发 |
| 改进题 | 离散状态模拟、矩阵分解、生产排程、零售计划、物业管理;顺序和材料相同 |
| 反馈方式 | 每代拿到自己的输入、完整操作过程、成果、分数和评语;格式与内容范围相同 |
| 独立重复与接班机会 | 每个模型独立重复两次,每条链最多接班五次 |
| 每题、每次改进的时间 | 最多 60 分钟 |
| 每题、每次改进的请求 | 最多 300 次;连接重试同样计数、计时 |
| 累计发送材料 | 最多 64 MiB |
| 输出额度 | 单次最多 65,536 个文本单位,累计最多 524,288 个 |
| 本机资源 | 相同运行环境;每个本机进程最多使用 600 秒计算时间,单个文件最多 200 MiB |
| 同时运行 | 同一个模型任何时刻只做一道参赛任务 |
| 新题测试 | 所有进化链结束并固定后才开始,不把测试成绩交回改进过程 |
| 评分 | 同一道题使用相同的原评分要求和评审方式 |
| 程序互换 | 最后成功的程序原样交给其他模型;相同组合的已有结果明确标注复用 |
| 中断 | 仅使用原剩余时间和额度恢复;明确失败不重做 |
同样的反馈方式不意味着给每个模型相同评语:反馈必须对应它自己做出的答案和成果,否则模型无法据此改进。
各家模型服务的内部计算量和价格不同。本轮能统一的是上述外部上限,不能把它表述为实际算力或实际费用相同。不同模型如何使用额度,也是观察结果的一部分。
额度按每道题、每次改进分别计算,没有另设整条链可自由分配的总预算。更早停止的链实际消耗会更少;走到第五代只是达到本轮观察终点。
怎样完成三项指标
先完成生产排程,再按十题顺序推进。每题分别保留各代得分与答卷,计算末代实力和比初代的变化,再测试程序交给其他模型后的表现。
单份职业成果由 GPT 6.1 按原条目评分。两道确定答案的新题直接核对原答案。当前不另加两份答卷之间的成对评审,完成标准是各代评分与程序互换结果齐全。查看三项指标的计算。