RSI Arena
← 返回本轮实验

Kimi 第一代生产题:漏交与超时保护失效

更新:2026-10-31。本轮所有版本已冻结,以下检查没有调用真实模型,也没有修改参赛程序或原成绩。

Kimi 在生产看板题上的原分是初代 68.75%、第一代 0%、第二代 64.58%。第一代没有交付文件;第二代恢复了交付。进一步查看原记录发现,第一代的零分同时涉及模型写出的错误命令和本机的超时保护问题,因此不能单凭这条曲线认定自我改进造成了能力下降。

当时发生了什么

第一代完成前五次模型请求,用了约十分钟。它在第五次回复中要求检查表格工具的内部实现,其中一段命令进入了不会改变条件的循环:先找到一个固定位置,再一直等待这个位置发生变化,但循环中没有更新它。

模型没有为该命令另设时间,程序默认应在两分钟后收回控制。但记录中没有对应的超时返回,后续模型请求也没有发生。直到整题时限结束,外层控制程序才停止任务。最后保存了要求清单,未保存工作簿。五次模型请求均正常返回,这次失败不是模型服务连接中断。

独立复现

给共同初代和 Kimi 第一代各复制一份独立检查环境,让模拟回复要求执行同类循环,设定单条命令两秒超时。检查本身另设六秒上限,沿用外层十五秒结束宽限;没有使用原题材料。

检查对象单条命令应在两秒后返回实际结果
共同初代是未返回,约 21.5 秒后由外层停止
Kimi 第一代是未返回,约 21.5 秒后由外层停止

相同问题也发生在共同初代,说明它不是第一代改动独有的问题。外层停止保护仍有效,检查结束后没有残留的计算进程。

本轮怎样展示,下一轮怎样处理

本轮保留这道题的零分、未交付事实和实际比较结果,并在曲线旁标明运行故障。它说明这次完整流程没有完成交付;要判断改进是否损害了模型的做题能力,需要在修好共同运行环境后,用新的独立题重新比较。

下一轮开始前,应分别验证单条命令、整题和子进程回收的时限,包含命令进入循环、产生多个子进程和管道未关闭等情况。各模型使用同一套经过验证的环境,再区分模型生成的错误命令与环境没有执行已约定的停止规则。

原作答记录:runs/evo10_20261031/lineages/kimi-k3/g001/evaluation/gdpval-9e39df84-ac57-4c9b-a2e3-12b8abf2c797/。原程序校验值、模拟回复、运行记录和结果保存在 .checks/evo_timeout_review_20261031/。