系统总实力
最后哪个“模型 + 程序”最强?看各模型最后成功版本在这道题上的得分。
在每一道题上分别计算,保留每一代的成果和变化。
最后哪个“模型 + 程序”最强?看各模型最后成功版本在这道题上的得分。
比自己的初代进步多少?看末代减初代的分数,并展示每代的上升和下降。
改出的程序交给其他模型还有用吗?看换模型后的得分,以及比使用者自己初代的变化。
先让各代完成共同的五道改进题,读取自己的反馈,再亲自构造后代。全部进化停止后固定程序,用原十题逐题计算这三项指标。
先固定怎样比较,再观察谁能持续改进。下表是当前实际采用的条件。
| 共同起点 | 六个模型从完全相同的起始程序出发;每条链始终使用同一个模型。 |
|---|---|
| 共同改进题 | 离散状态模拟、矩阵分解与 Frobenius 数、五份材料约束下的生产排程、双渠道库存和销售计划、依据投诉与工单制定改进计划。每代使用相同的五道题、材料和顺序。 |
| 共同反馈方式 | 各代收到自己的作答、操作记录、交付文件、分数和评语。评分规则与反馈范围一致,具体评语对应各自的成果。 |
| 相同改进机会 | 每个模型独立重复 2 次,每条链最多接班 5 次。新版亲自接手做题,并负责再下一代。 |
| 每题与每次改进 | 最多 60 分钟、300 次模型请求。 |
| 发送与输出额度 | 累计发送材料最多 64 MiB;一次回复最多 65,536 个文本单位,累计输出额度 524,288 个。 |
| 工具运行条件 | 使用同一本地运行环境。每个工具进程最多 600 秒计算时间,单个文件最多 200 MiB;同一模型同时只做一道参赛任务。 |
| 接班与停止 | 新版通过基本运行检查即可接班,分数下降也保留。改进中断按原剩余额度接续;停止原因逐条记录。 |
| 后续评估 | 全部程序固定后,开放另外五道题。十道原题分别计算三项指标;共同的五题进化过程保持原样,不为每题重新进化。 |
额度按每题、每次改进分别计算,整条链没有可自由分配的总预算。各家服务内部的实际算力、速度和价格不同,本轮统一的是上面的外部上限。
系统总实力看末代分数;相对改进看末代减初代;程序泛化看换模型后的分数及变化。每道题使用自己的原评分,三项指标都从这些成绩中得到。三项指标怎样计算 → · 与早期设置的区别 →
正在读取各条链的实际记录。
进度按已产生的版本计算。没有成功接班的后代不会填成零分;已有结果、失败和服务中断分别保留。查看本轮中断与恢复 → · 早期试跑记录(每模型一组、最多两次接班)→
累计已结束的做题和改进过程,包含连接重试;评审调用与仍在进行的作答不在此表。复用成果只计一次。各项时长相加,并非实验实际经过的钟表时间。
| 使用的模型 | 模型请求 | 已报告输出量 | 累计用时 | 失败请求 / 用时 | 未知用量的预留额 |
|---|
“未知用量的预留额”用于遵守上限,不代表实际生成量。各家服务内部的计算量不可见,不能据此认定用了相同算力。
每题分别看系统总实力、相对改进和程序泛化。点击任意一道题,查看全部答卷与原评分理由。
点击某一代,查看任务成绩与真实成果。分数下降也会接班,末代指最后接手的版本。
累计材料上限、失败请求占用的额度、新版运行检查与服务中断分别记录。查看每次的用量和停止经过 →
复杂推理、材料分析、排程、表格与文书交付。保留原题及 16 份原始附件。
保存“修改前的程序 → 自己的开发反馈 → 修改过程 → 新程序与效果”,整理成训练数据。再比较训练前后,模型是否更会改进自己的工作方式。
同一个来源模型的整条链留在同一组。独立测试题与成绩不用于挑选样本或训练。
数据筛选与划分方式 →一个共同规则下的递归改进赛场,三项能力的实证比较,以及从改进过程得到的训练数据与验证。