实际试跑中遇到的问题

更新：2026年11月3日。本页记录这轮实际发生的情况，便于决定下一轮怎样设置。题目成绩继续在逐题结果更新，研究方案的选择另见讨论清单。

11月3日已确认统一采用“到点收卷”：直接给截止时保存的成果评分，完成多少就评多少。模型不再补写或修改文件，原中断原因继续保留。前两题缺少的5份分数正在补评；离散状态模拟已完成全部三项评估。

以上数量取自11月3日16:14的记录，补评分结果会继续更新。每题换模型表中有32份按原规则复用的答卷。去掉复用后，三道题共228次原始作答已结束，223份已有分数，其中33份为0分；75份有分答卷也曾遇到失败请求。过程中出现请求失败，不等于整份作答最终没有完成。

后续物业题另有3份同类截止时成果，一并按相同规则补评分；它们不计入上面三题的5份缺分。另有两次成果保存错误，分别涉及文件引用和整个工作目录过大。第二次错误使16:13恢复的队列在16:50又停止，正在核对备份并处理；具体经过见第13项。

1. 已经做出文件，最后却没有分数

生产排程第一组中，GPT使用Kimi改出的程序，已经保存排程工作簿和给厂长的邮件。67次请求中43次失败或未完整返回，其中约30分钟消耗在失败请求上。原定一小时结束后，整份作答被留作“服务中断”，因此没有进入评分。

同题第二组中，Claude使用GLM程序，也已经保存工作簿和邮件。实际报告的输出为257,038，未知用量的预留额为267,250，合计达到524,288的共同上限，作答停止时同样没有分数。

影响： 目前的缺分混合了“没有交付成果”和“成果存在、但服务没有正常收尾”两种情况。整张互换表会因此停在接近完成的位置。

已确认并开始执行： 对额度已用完的作答，统一按截止时保存的成果和原标准评分，同时保留中断原因；不增加做题时间，不修改交付文件。原中断记录单独保存。仍有原额度且确实能够接续的连接中断，按原规则恢复。六个模型和原十道题都采用相同处理。

前两题需要补评分的是下面5份成果。它们都已结束作答，保存的文件可以直接打开查看；评分完成后，相应成绩页会注明“截止时成果评分”。

物业题另有3份同类成果：第一组Claude程序交给GPT，第二组GLM程序交给Claude、Qwen程序交给Claude，均在累计输出额度用完时停止。这次共8份进入补评分，原答卷、原用量及已有成绩均保留。

2. 工具指令写错，被误记成连接失败

生产排程第二组中，DeepSeek使用GPT程序，在第22次请求返回了完整回复。结束标记、模型身份和用量记录都齐全，但其中一条工具指令的格式有误，无法执行。这次作答用了约7分25秒，未保存交付文件。

原接入程序把读取指令时的错误统一记进“服务中断”，从页面上容易误看成网络没有接通。逐项复核原始回复后，已改为实际作答失败，按原失败规则计0分；没有再次调用模型，也没有替它修正指令。

零售第二组中，DeepSeek使用GPT程序又出现一例：第11次回复完整结束，但工具指令格式错误，约29分钟后结束且没有交付文件。过程中第7次请求曾超时，第8次已经原样重试成功；最后留下的是指令错误。01:55已按同一失败规则补记0分，全部原请求、文件和用量记录保留。

影响： 不同模型接手同一程序后，可能写出程序无法接受的工具指令。这是程序泛化测试需要观察的真实结果。

下一轮： 分别记录服务中断、回复格式错误、工具执行错误和程序退出原因。错误发生的位置与最后是否有合格成果分别展示。

3. 未知用量的预留可能先耗尽额度

没有返回完整用量的请求，按本轮规则保留它预申请的全部输出额度。零售第一组中，DeepSeek使用GLM程序，已经报告的输出为144,344，未知用量预留379,944，合计达到524,288，尚未到一小时就停止。

改进阶段也出现过同样影响：GPT第一条链构造第三代时，已确认输出仅2,147，未知预留为522,141。这条链的停止不能解释为已经实际生成了52万多输出。

已采用的处理： 原始记录能证明请求在生成前就被拒收时，释放其生成预留；请求次数、输入量和等待时间照计。真正未知的用量继续保留。六个模型使用同一规则。

待讨论： 下一轮怎样处理无法确认的用量，以及是否同时报告“服务实际完成的工作量”和“共同上限下的最终成绩”。逐条停止原因已列出改进阶段的实际用量。

4. 程序越来越长，先耗尽的是累计发送材料

DeepSeek的两条链、Qwen第一条链、GLM第一条链，均先接近64 MiB累计发送上限。它们尚未用完300次请求或60分钟，下一次发送的完整历史已经超出材料额度。

本轮每次发送都计入累计量，重复发送的题目、操作历史和长篇反馈也包含在内。因此，保存更多历史不一定带来更多有效尝试；压缩和选择信息本身会影响能走到第几代。

本轮处理： 保持共同上限，保留实际停止位置。

待讨论： 下一轮在预先固定的两个材料额度下重复比较，并分别统计新信息与重复发送的信息，检查排名是否依赖这条限制。

5. 接班检查的时间设置挡住了一个已交付的后代

Claude第二条链已经交出新版程序。短时运行检查中，新版算出只剩约22秒，而它自己设置了“至少剩45秒才开始请求”的条件，因此尚未调用模型就退出。

影响： 这次停止来自新版时间门槛与检查时长的冲突。它没有证明新版在正常一小时任务中也无法运行，但按本轮已经固定的接班检查，确实没有接班成功。

本轮处理： 保留初代，不人工修改新版，不重做失败的接班。

待讨论： 下一轮怎样分别检查程序能否启动和能否在正常任务预算下做事。查看这条接班记录。

6. 原题与原评分存在具体冲突

离散状态模拟的分歧可以用两个状态直接检查：一个系统让0、1各自不变，另一个每步交换0、1。从两个起点都出发，两者到过的状态集合都是{0,1}，但轨迹不同。简化模拟从全体状态出发时也始终得到{0,1}。因此，保留轨迹和只收集状态集合，能得到的信息不同。实际答卷中，GPT第二代选择B，Kimi第三代选择C，Claude第五代选择D并指出措辞分歧。这三份答卷分别得到0、0、1分。本轮继续保留原分，下一轮先明确“结果”指什么。

本轮处理： 原分继续保留，冲突逐题标注。遗传学使用此前已经产生的记录，本次不另开新题。

待讨论： 扩大实验前先决定修订定义、增加经复核的评分，还是移除有冲突的题目；训练样本也要标记是否使用了有争议的反馈。

原材料与复核：生产排程、矩阵分解、遗传学。

7. 中断恢复需要保留的不只是最后一条回答

此前的实际恢复遇到了三类差异：工具回复已经保存但结束标记不同；程序还在内存中保存了阶段计划；程序使用了临时目录和文件时间。只恢复聊天文本，不能保证下一条请求与中断前一致。

Kimi一次恢复逐项核对了41个已保存回复；GPT恢复时补回了原来已经成功保存的计划状态。Qwen第五代一份作答无法完整重放原状态，改为从已保存文件继续，仍只使用剩余额度。

已处理： 原请求、回复、文件与用量分别留档；能原样继续的按原进度接续；不能原样继续的明确记录恢复方式。正常失败不重做。

下一轮： 开跑前实际测试一次中断与恢复，把恢复方式固定下来。本轮中断与恢复保留各次经过。

8. 页面有时落后于实际进度

本轮发现过四种具体情况：更新程序没有重新读取某个报告，首页变了而报告未变；答卷预览空白，但原文件可以下载；原网站一次上传超时被误判成永久错误，自动更新因此退出；问题文档中的答卷链接被转成普通文字，读者无法直接点开案例。

已处理： 报告与成绩一同重新读取；答卷预览已修复；问题文档中指向已有公开答卷的链接已恢复。11月3日原网站恢复自动更新，01:09完成一批新内容并核对在线版本。Cloudflare备用站继续独立更新。重复开启发布程序会造成额外上传，因此两个站点各保留一个更新程序。

查看入口： 原网站、备用网址。

9. 成功接班后，仍会出现真实退步

零售题中，Qwen第二次重复的六代得分依次为67、69、77、75、73、0分，满分81。第五代只运行约98秒，四次请求均正常返回，却交出大量重复符号，没有生成工作簿。程序把这段不含后续操作的文本当作最终回答，结束时自己列出的24项待办仍全部未完成。原评分为0，保留这次结果。查看这份答卷。

生产排程中，GPT两次重复分别从57降到42分、59降到46分。逐项评分记录显示，后代满足了“只保留两张工作表”的要求，增加2分；但原来第三张表中的排程时段、工具编号和逐项总工时没有完整保留在交付中，其他项目因而丢分。这两次退步都有正常返回的答卷和工作簿。可以分别查看第一组的初代57分与末代42分，以及第二组的初代59分与末代46分。

程序互换还暴露了运行错误：生产排程第二组中，Qwen第五代在自己的模型上得到44/71分；同一程序交给GLM后，46次请求、约14分钟后因引用一个没有设置过的值而退出，得到0分。这次没有连接中断，错误只在换模型后的这次作答中暴露出来。查看这次保存的成果。

影响： 能交出下一代程序，并不保证下一代能稳定交付；修好一个要求，也可能破坏原先做对的部分。只展示最好的一代，会掩盖这两类退步。

本轮处理： 各代原分、最后成功版本和真实答卷一同保留。无效回答和正常低分不作为连接中断补跑。

下一轮： 检查程序是否保留了已经满足的要求，并单列无效回答、缺交文件及逐代退步的发生次数。

10. 请求已经恢复，倒计时变化却让系统没认出来

零售第二组中，Claude使用GLM程序，共发起30次请求，约50分钟后正常结束，并保存了工作簿。第2次请求被拒收，第3次成功；两次内容只相差程序自动更新的倒计时和调用次数：剩余3597秒变成3578秒，调用次数从2变成3。题目、材料、工具和输出上限均相同。第7次请求也曾失败，第8次已原样成功补回。

原恢复检查要求请求逐字相同，没把第3次视为第2次的成功重试，因此整份正常交卷仍被记成服务中断。这与第1项“用完时间仍未正常结束”是不同情况。

已处理： 逐一核对全部失败请求，只接受后来已成功、且仅有时间递减和调用次数递增的重试；题目、材料或额度有变化的情况不适用。02:23按原成果补评分得到73/81分，未增加参赛请求或时间，原记录全部保留。查看这份答卷。

下一轮： 判断恢复是否成功时，区分题目和操作内容与自动变化的时间提示。

11. 请求设置了上限，服务却报告了更大的生成量

离散状态模拟第二组中，GLM使用Qwen第五代程序。第2次请求指定的单次输出上限是65,536，服务在约14分51秒后报告生成80,916，其中80,915被服务标为思考内容，最终可见答案为空。原始返回中只有一份最终用量报告，保存的数值与它一致；不是本地把多份用量重复相加。

本地检查拒绝把这条超过预留值的回复交给参赛程序，仍扣留65,536的原预留额；超出的15,380没有并入已确认用量。原接入程序还把这种用量异常归入了程序错误。02:49核对三题6,017次成功返回，发现这一例；当时该次作答仍在继续。

02:58进一步核对当前记录中的11,807次成功返回，覆盖作答和改进过程，复用和复制的记录不重复计算，仍只发现这一例。

影响： 相同的请求设置，不能直接保证各家服务按相同方式限制和报告生成量。此前“累计用量未超限”的核对检查的是本地记录值，不能据此认定这条服务返回也符合上限。服务用量异常还可能被误看成程序自身失败。

本轮处理： 原请求、原用量报告和预留记录分别保存。第3次请求与第2次内容完全相同，报告的输出为65,536，已正常返回；这次用量异常已被原程序自行重试恢复。整份作答随后因另一种请求格式错误结束，具体见下一项。用量异常与最后的失败原因分别记录。

下一轮： 开跑前验证每个服务的单次上限是否包含思考生成，并分别记录请求上限、服务报告值和本地扣除值。服务报告超限时怎样停止和计入成绩，需要预先统一。

12. 程序发出的格式不被新模型接受，重试也不能解决

上例随后又出现了一个独立问题。第3次回复用完单次输出额度，但没有最终答案，也没有要执行的操作。Qwen第五代程序把这段回复加入后续对话时，主动补入了一个空的操作列表。GLM服务不接受这个格式，第4至第8次请求都明确拒收，理由完全一致。

这份作答02:50结束，共8次请求、约31分32秒，没有交付答案。停止来自程序与新服务之间的格式不兼容；继续原样发送仍会被拒收。原记录只写了五次请求失败，网页一度将其显示为服务中断。

已处理： 核对原程序、五份被拒请求和服务返回，并确认前面的用量异常已有内容完全相同的成功重试。02:56按原程序失败规则补记0分。没有修改参赛程序，没有新作答或评分请求，没有增减原用量记录。查看这份记录。

下一轮： 明确共同接口负责消除哪些服务格式差异，哪些要由进化出的程序自己处理；先对所有模型验证相同的接口行为。错误回复、无效请求和连接失败分开记录。

13. 成果保存失败，让后续队列一起停了

物业题第一组中，GPT使用GLM第一代程序。做题结束后，保存过程发现工作目录中有文件引用，按原安全规则拒绝复制。错误一路传回任务队列，其他已开始的作答收尾后，队列在12:39停止，剩余任务没有接着开始。

这次留下了30次请求和用量记录，最后一次请求在07:30超时。完整工作目录没有保存成功，临时目录随后被清理。独立备份在07:17保存过一份员工改进计划，但它是中途版本，无法据此确认最终交付。仅凭现存记录，也无法确定具体哪个文件引用触发了错误。

本轮处理： 这份作答单列为“成果保存失败，暂未计分”，保留原请求、用量和中途备份。查看保存失败记录。16:13已恢复队列，跳过这一份并继续原来的其他任务；该题没有重新作答。恢复检查确认原执行程序、108份固定程序副本及此前802份结果均未改动。

下一轮： 成果收集失败时先保存请求、运行结束信息和可安全复制的文件，再单列有问题的文件。单份作答的保存错误不能阻止后续任务，也不能直接算成模型零分。

16:50又发生了另一种保存错误：同题第一组中，GPT使用Kimi程序，在第33次回复中已经提交完成说明，但整个工作目录超过200 MiB的原保存上限，收集成果时失败。这个限制针对整个工作目录，包含临时文件，不能据此认定提交的文档本身太大。后续队列也因此再次退出。

这次独立备份保存了运行结束记录、完整操作经过和一份43,659字节的文档。正在把备份与最后的操作逐项核对，确认是否能够恢复最终交付。它与第1项的8份已有完整作答记录不同，不能直接按同一入口补分。

团队这次先讨论三件事

1. 下一轮如何同时报告最终成绩、服务中断所占的时间，以及成功保存成果的比例。“到点收卷”的评分方式本轮已经确定。

2. 下一轮先修正哪些题目和反馈冲突，以及怎样处理已经受冲突反馈影响的训练记录。

3. 接班检查时长、未知用量的预留、服务报告超限和累计材料上限如何预先固定，再判断模型能否持续改进。

这次优先完成生产排程、零售、离散状态模拟。第三道选原顺序中第一道非职业题，现已全部评分。后续继续原十题，每个模型仍一次只做一道参赛任务。六个模型、两次重复、共同五道改进题、36个实际版本和原作答上限保持，各道题的三项结果单独计算。