↗ RSI Arena读取实验记录
RSI ARENA / 项目介绍

谁能把自己
改得更强?

我们想知道:模型是否具备持续改进自身工作程序的能力?
给六个模型相同起点、任务与机会,让它们一代代接手做题,也亲自改出下一代。

这里的工作程序决定模型怎样规划、使用工具、整理信息和检查结果。同一条链中的模型保持不变,进化的是这套程序。

6参赛模型
2每模型独立重复
5最多接班次数
10Evo-Bench 原题
本轮完整规则 ↗
研究目标

用三项指标,回答三个问题

在每一道题上分别计算,保留每一代的成果和变化。

指标的计算方式 ↗
01

系统总实力

最后哪个“模型 + 程序”最强?看各模型最后成功版本在这道题上的得分。

02

相对改进能力

比自己的初代进步多少?看末代减初代的分数,并展示每代的上升和下降。

03

程序泛化性

改出的程序交给其他模型还有用吗?看换模型后的得分,以及比使用者自己初代的变化。

先让各代完成共同的五道改进题,读取自己的反馈,再亲自构造后代。全部进化停止后固定程序,用原十题逐题计算这三项指标。

共同条件

给每个模型同样的起点和机会

先固定怎样比较,再观察谁能持续改进。下表是当前实际采用的条件。

完整条件与核对记录 ↗
共同起点六个模型从完全相同的起始程序出发;每条链始终使用同一个模型。
共同改进题离散状态模拟、矩阵分解与 Frobenius 数、五份材料约束下的生产排程、双渠道库存和销售计划、依据投诉与工单制定改进计划。每代使用相同的五道题、材料和顺序。
共同反馈方式各代收到自己的作答、操作记录、交付文件、分数和评语。评分规则与反馈范围一致,具体评语对应各自的成果。
相同改进机会每个模型独立重复 2 次,每条链最多接班 5 次。新版亲自接手做题,并负责再下一代。
每题与每次改进最多 60 分钟、300 次模型请求。
发送与输出额度累计发送材料最多 64 MiB;一次回复最多 65,536 个文本单位,累计输出额度 524,288 个。
工具运行条件使用同一本地运行环境。每个工具进程最多 600 秒计算时间,单个文件最多 200 MiB;同一模型同时只做一道参赛任务。
接班与停止新版通过基本运行检查即可接班,分数下降也保留。改进中断按原剩余额度接续;停止原因逐条记录。
后续评估全部程序固定后,开放另外五道题。十道原题分别计算三项指标;共同的五题进化过程保持原样,不为每题重新进化。

额度按每题、每次改进分别计算,整条链没有可自由分配的总预算。各家服务内部的实际算力、速度和价格不同,本轮统一的是上面的外部上限。

系统总实力看末代分数;相对改进看末代减初代;程序泛化看换模型后的分数及变化。每道题使用自己的原评分,三项指标都从这些成绩中得到。三项指标怎样计算 → · 与早期设置的区别 →

当前实验 / 十题分别评估自动同步最新成果

当前实验,
已经看到什么?

共同进化已产生 36 个实际版本。逐题查看末代得分、比初代的变化,以及程序交给其他模型后的表现。

逐题评估进行中

制造:五份材料约束下的生产排程

已有答卷和分数继续保留,接着完成各题评分与程序互换。

02 / LIVE EXPERIMENT

这一轮,正在走到哪一步

正在读取各条链的实际记录。

自动同步

    进度按已产生的版本计算。没有成功接班的后代不会填成零分;已有结果、失败和服务中断分别保留。查看本轮中断与恢复 → · 早期试跑记录(每模型一组、最多两次接班)→

    查看六个模型的实际消耗

    累计已结束的做题和改进过程,包含连接重试;评审调用与仍在进行的作答不在此表。复用成果只计一次。各项时长相加,并非实验实际经过的钟表时间。

    使用的模型模型请求已报告输出量累计用时失败请求 / 用时未知用量的预留额

    “未知用量的预留额”用于遵守上限,不代表实际生成量。各家服务内部的计算量不可见,不能据此认定用了相同算力。

    逐题结果

    十道题,各自做到哪一步

    每题分别看系统总实力、相对改进和程序泛化。点击任意一道题,查看全部答卷与原评分理由。

    打开完整结果目录 ↗
    改进时做过正在评估

    制造:五份材料约束下的生产排程

    各代评分
    36 / 36
    换模型评分
    68 / 72
    答卷、变化与比较结果 →
    改进时做过查看已有结果

    零售:双渠道库存和销售计划

    各代评分
    36 / 36
    换模型评分
    0 / 72
    答卷、变化与比较结果 →
    改进时做过查看已有结果

    物业:依据投诉与工单制定改进计划

    各代评分
    36 / 36
    换模型评分
    0 / 72
    答卷、变化与比较结果 →
    改进后开放查看已有结果

    医疗行政:病历转移、分类工作簿和往来信函

    各代评分
    7 / 36
    换模型评分
    0 / 72
    答卷、变化与比较结果 →
    改进后开放查看已有结果

    财务:十家分支机构的动态经营分析工作簿

    各代评分
    0 / 36
    换模型评分
    0 / 72
    答卷、变化与比较结果 →
    改进后开放查看已有结果

    质量管理:原料偏差、变更申请与风险处置

    各代评分
    0 / 36
    换模型评分
    0 / 72
    答卷、变化与比较结果 →
    改进时做过查看已有结果

    计算机:离散状态模拟

    各代评分
    36 / 36
    换模型评分
    0 / 72
    答卷、变化与比较结果 →
    改进时做过查看已有结果

    数学:矩阵分解与 Frobenius 数

    各代评分
    36 / 36
    换模型评分
    0 / 72
    答卷、变化与比较结果 →
    改进后开放查看已有结果

    数学:图上的闭合游走计数

    各代评分
    0 / 36
    换模型评分
    0 / 72
    答卷、变化与比较结果 →
    改进后开放查看已有结果

    遗传学:阅读框、突变与 DNA 序列

    各代评分
    36 / 36
    换模型评分
    57 / 72
    答卷、变化与比较结果 →
    逐代接班

    每条链,为什么走到这里?

    点击某一代,查看任务成绩与真实成果。分数下降也会接班,末代指最后接手的版本。

    全部具体停止原因 ↗
    停止原因按实际记录更新。

    累计材料上限、失败请求占用的额度、新版运行检查与服务中断分别记录。查看每次的用量和停止经过 →

    06 / ORIGINAL TASKS, REAL DELIVERABLES

    十道原题,覆盖多种工作

    复杂推理、材料分析、排程、表格与文书交付。保留原题及 16 份原始附件。

    怎样判分与比较? ↗

    改进时可见五道开发题

    全部停止后开放五道独立测试题

    07 / LEARNING FROM THE PROCESS

    把改进经验,教给一个模型

    保存“修改前的程序 → 自己的开发反馈 → 修改过程 → 新程序与效果”,整理成训练数据。再比较训练前后,模型是否更会改进自己的工作方式。

    同一个来源模型的整条链留在同一组。独立测试题与成绩不用于挑选样本或训练。

    数据筛选与划分方式 →