一道开发题的定义问题
矩阵分解与 Frobenius 数这道原题,第二部分没有给出足以确定唯一答案的条件。按通常的有理数系数、首项归一化的行 Popov 形理解,可以构造一整族同样达到最优条件的整数矩阵,但它们用于定义 X₂ 的数值不同。
这会影响实验的解释:模型指出题目没有定义清楚,与模型给出一个错误数字,在原评分里都可能得到零分。后代若只学会复述参考数字,开发分数会上升,却不能据此认定推理能力提高。
原题为 hle-673dda11d3981c54a42874ef,来自 Evo-Bench 的 HLE 开发题。本轮保留原题及原评分;以下复核单独展示,没有交给正在做题和改进的参赛系统。
具体缺了什么
原题第二部分要求在所有元素非零的整数幂零矩阵中,找到一个矩阵,使其 Popov 形的两个范数之比最大,再把这个矩阵最大的 immanant 作为 X₂。
问题是:把整个矩阵乘以一个正整数,仍然满足前面的整数和幂零条件,也不改变归一化的 Popov 形;但 immanant 会随倍数增长。题目没有规定从这些同样最优的矩阵里选哪一个。
一个可以直接核对的例子
取三阶矩阵:
[ 2 1 2 ]
M = [ -2 -1 -3 ]
[ -2 -1 -1 ]所有元素都是非零整数,M² 非零,M³ 为零,因此它满足题目的三阶幂零要求。采用常数多项式的行 Popov 约定:最右非零位置为主元、主元归一化为 1、零行排在最后。它的形式为:
[ 2 1 0 ]
P = [ 0 0 1 ]
[ 0 0 0 ]P 的无穷对数范数为 3,Frobenius 范数为 √6,比值为 3/√6。对三阶、秩为二的这种 Popov 形,比值最多为 √(3/2),因此此例确实达到最优值。界限可由下式核对,其中 x、y 是剩余非主元元素的绝对值:
3(2 + x² + y²) − 2(1 + x)² = (x − 2)² + 3y² ≥ 0现在依次使用 M、2M、10M。三者都满足原题要求,Popov 形完全相同,但 X₂ 不同:
| 选择的矩阵 | 优化目标值 | 最大 immanant,即 X₂ |
| M | 3/√6 | 24 |
| 2M | 3/√6 | 192 |
| 10M | 3/√6 | 24,000 |
三阶矩阵的三个不可约特征标对应的 immanant 分别为 24、0、−6;乘以 k 后全部乘以 k³。因此,最大的值为 24k³,可以任意增大。原题没有固定 X₂,也就没有固定最后求 Frobenius 数的整数集合。
这些计算已用精确整数与有理数运算核对,包括三次方为零、二次方非零、Popov 形不变和三个 immanant 的数值。查看核对结果。如果题目意指另一种矩阵约定,仍需明确该约定和唯一选取规则,并给出可复核的完整解答。
本轮已经看到什么
第一次重复的初代结果中,GPT 与 GLM 都回答“题目不能确定唯一数值”,原评分把它们按“不等于参考答案 658”判为零分。Qwen Flash 给出 43,也得到零分;这两类回答需要分别解释。
查看原题和各模型的实际回答。原分数、反馈和后续接班过程继续保留。
第一次接班怎样吸收这条反馈
11月1日06:19,GLM 初代亲自交出了第一代,后代随即开始做开发题。第一代加入了交付前检查、任务清单和文件排版处理,也改写了处理题意矛盾的规则:
“这些任务有确定的正确答案。如果你的分析认为题目未定义清楚或无解,几乎总是误读;重新阅读,采用最常见的解释,仍然给出具体答案。”
这段规则来自第一代的实际工作指令。它的推理指南还要求“假设题目定义正确并有具体答案”。已核对后代发出的第一条任务请求,两段内容都进入了实际运行。
在自己的修改说明中,GLM 把这道题的失分归因于计算超时后过早认定题目不明确。上面的独立反例表明,尺度未固定确实会导致答案不唯一。原反馈已经推动程序改变了对这类问题的处理方式。
后续分析将分别记录文件交付是否更完整、这道开发题的答案如何变化,以及新测试题是否进步。训练样本筛选也需要保留这一区别。
GPT 的第一代在06:49完成了这道题,原评分仍为零。相比初代的尺度论证,它进一步给出了上面的具体矩阵,核对三次方为零、最优比值与两个不同的 X₂。这次回答增加了可检验的证据,原分数没有体现这一变化。
职业题也发现了反馈与任务材料不一致的例子:生产计划模板要求用时向上取整,评分却因取整后的汇总不等于原始精确工时而扣分。查看原模板、实际数字和评分理由。
团队需要决定什么
扩大实验前,应补齐这道题的定义和完整解答,或替换为能够独立核对的题目。训练数据也需要检查:观察到的开发涨分,究竟来自更好的问题处理,还是仅仅迎合了一个有问题的参考数字。
本轮可以继续提供完整过程记录;正式论文需要把题目质量、实际推理表现与对参考答案的匹配分开分析。