RSI Arena
← 返回本轮实验

一道开发题的定义问题

矩阵分解与 Frobenius 数这道原题,第二部分没有给出足以确定唯一答案的条件。按通常的有理数系数、首项归一化的行 Popov 形理解,可以构造一整族同样达到最优条件的整数矩阵,但它们用于定义 X₂ 的数值不同。

这会影响实验的解释:模型指出题目没有定义清楚,与模型给出一个错误数字,在原评分里都可能得到零分。后代若只学会复述参考数字,开发分数会上升,却不能据此认定推理能力提高。

原题为 hle-673dda11d3981c54a42874ef,来自 Evo-Bench 的 HLE 开发题。本轮保留原题及原评分;以下复核单独展示,没有交给正在做题和改进的参赛系统。

具体缺了什么

原题第二部分要求在所有元素非零的整数幂零矩阵中,找到一个矩阵,使其 Popov 形的两个范数之比最大,再把这个矩阵最大的 immanant 作为 X₂。

问题是:把整个矩阵乘以一个正整数,仍然满足前面的整数和幂零条件,也不改变归一化的 Popov 形;但 immanant 会随倍数增长。题目没有规定从这些同样最优的矩阵里选哪一个。

一个可以直接核对的例子

取三阶矩阵:

     [  2   1   2 ]
M =  [ -2  -1  -3 ]
     [ -2  -1  -1 ]

所有元素都是非零整数,M² 非零,M³ 为零,因此它满足题目的三阶幂零要求。采用常数多项式的行 Popov 约定:最右非零位置为主元、主元归一化为 1、零行排在最后。它的形式为:

     [ 2   1   0 ]
P =  [ 0   0   1 ]
     [ 0   0   0 ]

P 的无穷对数范数为 3,Frobenius 范数为 √6,比值为 3/√6。对三阶、秩为二的这种 Popov 形,比值最多为 √(3/2),因此此例确实达到最优值。界限可由下式核对,其中 x、y 是剩余非主元元素的绝对值:

3(2 + x² + y²) − 2(1 + x)² = (x − 2)² + 3y² ≥ 0

现在依次使用 M、2M、10M。三者都满足原题要求,Popov 形完全相同,但 X₂ 不同:

选择的矩阵优化目标值最大 immanant,即 X₂
M3/√624
2M3/√6192
10M3/√624,000

三阶矩阵的三个不可约特征标对应的 immanant 分别为 24、0、−6;乘以 k 后全部乘以 k³。因此,最大的值为 24k³,可以任意增大。原题没有固定 X₂,也就没有固定最后求 Frobenius 数的整数集合。

这些计算已用精确整数与有理数运算核对,包括三次方为零、二次方非零、Popov 形不变和三个 immanant 的数值。查看核对结果。如果题目意指另一种矩阵约定,仍需明确该约定和唯一选取规则,并给出可复核的完整解答。

本轮已经看到什么

第一次重复的初代结果中,GPT 与 GLM 都回答“题目不能确定唯一数值”,原评分把它们按“不等于参考答案 658”判为零分。Qwen Flash 给出 43,也得到零分;这两类回答需要分别解释。

查看原题和各模型的实际回答。原分数、反馈和后续接班过程继续保留。

第一次接班怎样吸收这条反馈

11月1日06:19,GLM 初代亲自交出了第一代,后代随即开始做开发题。第一代加入了交付前检查、任务清单和文件排版处理,也改写了处理题意矛盾的规则:

“这些任务有确定的正确答案。如果你的分析认为题目未定义清楚或无解,几乎总是误读;重新阅读,采用最常见的解释,仍然给出具体答案。”

这段规则来自第一代的实际工作指令。它的推理指南还要求“假设题目定义正确并有具体答案”。已核对后代发出的第一条任务请求,两段内容都进入了实际运行。

在自己的修改说明中,GLM 把这道题的失分归因于计算超时后过早认定题目不明确。上面的独立反例表明,尺度未固定确实会导致答案不唯一。原反馈已经推动程序改变了对这类问题的处理方式。

后续分析将分别记录文件交付是否更完整、这道开发题的答案如何变化,以及新测试题是否进步。训练样本筛选也需要保留这一区别。

GPT 的第一代在06:49完成了这道题,原评分仍为零。相比初代的尺度论证,它进一步给出了上面的具体矩阵,核对三次方为零、最优比值与两个不同的 X₂。这次回答增加了可检验的证据,原分数没有体现这一变化。

职业题也发现了反馈与任务材料不一致的例子:生产计划模板要求用时向上取整,评分却因取整后的汇总不等于原始精确工时而扣分。查看原模板、实际数字和评分理由。

团队需要决定什么

扩大实验前,应补齐这道题的定义和完整解答,或替换为能够独立核对的题目。训练数据也需要检查:观察到的开发涨分,究竟来自更好的问题处理,还是仅仅迎合了一个有问题的参考数字。

本轮可以继续提供完整过程记录;正式论文需要把题目质量、实际推理表现与对参考答案的匹配分开分析。