RSI Arena
← 返回本轮实验

生产排程:评分冲突与后代的实际变化

原模板要求把每天的机器用时向上取整,评分中却有一项要求它与未取整的工时完全相等。GPT 初代按模板取整,在这一项得到 0 分,满分为 2 分。

这道题要求根据五份材料填写生产计划。原模板的机器用时汇总标题是“Press Total Per Day (Minutes Rounded Up Whole)”,即每天的机器用时按整分钟向上取整。标题位于“One Week Test Plan”工作表的 I46。

实际记录

第一次重复中,GPT 初代交出的工作簿按每天取整后再汇总:

机器各次生产与换线的精确合计按天向上取整后的汇总
Press 14131/7 分钟,约 590.14 分钟591 分钟
Press 24635/7 分钟,约 662.14 分钟663 分钟

原评分第34项要求每台机器各次运行的用时之和与汇总中的数值完全相等。评语明确指出,模型采用向上取整,符合模板标题,但不满足该项要求的精确相等,因此给了零分。

已从提交文件中的需求量、线材数量、生产速度和换线时间重新计算上述分数,并核对实际汇总公式确实使用向上取整。源模板、提交文件和原评分记录均保留。查看核对结果,或打开原题与各模型成果。

对改进实验意味着什么

后代拿到的反馈不一定与原任务完全一致。它可能为了增加原分而改变本来符合要求的做法,也可能继续遵守原任务而承受扣分。这两种处理会影响后续改进和训练样本的判断。

GPT 在第一次改进说明中已经指出,部分取整要求与模板有冲突,并要求后代优先遵守原任务。接下来可以检查它是否保住这一做法、是否改好其他真正的漏项,以及新任务表现是否提高。

第一代已经交出了什么

11月1日,GPT第一代完成这道题,原分由初代的 57/71(80.3%)降到44/71(62.0%)。两份已提交文件都已保存,可以从原题与成果页下载。

初代在原模板之外增加了一张“Schedule & Basis”附表,其中有作业开始时刻等信息。第一代只保留模板原有的两张表。已直接读取两份工作簿,核对工作表名称与初代的开始时刻字段。

原评审中发生变化的检查初代第一代
恰好保留两张指定工作表0/22/2
作业时段、班次、工具编号、每次作业总时长及人员时间冲突,共五项10/100/10
版面与呈现5/50/5

这些变化合计少13分,与总分变化一致。第一代满足了“两张表”的检查,同时失去了初代附表里的一部分排程信息;原评审还指出打印页面分割和文字截断。后续可以看第二代能否保住必要的排程信息,同时满足表格要求。

这条链在另一道计算机开发题也从答对变成答错。按本轮固定权重,即使第一代余下两道开发题都拿满分,五题总分最高也只有43.7%,低于初代的67.4%。因此,这次开发成绩下降已经可以确定;它在新任务上的表现将由独立测试回答。

本轮继续使用已固定的任务和反馈。扩大实验前,应统一这项评分与原模板的取整口径,并对其他疑似冲突逐项复核。团队讨论清单中保留这项决定。