最有趣的基准测试之一及其对对齐的意义

幻觉常被视为大语言模型的一个主要、根本且难以解决的问题。随后，人们开始以公开和标准的方式测量它，此后问题迅速改善。该基准测试于去年年底发布（https://arxiv.org/abs/2511.13029），此后几乎所有得分高于0的模型都已发布，总体趋势是，较新的模型，尤其是前沿模型，在该基准测试上有所改进。虽然相关性不等于因果性，但在此案例中有充分理由相信两者确实相关：1 - 如果不测量幻觉率，仅测量正确答案的百分比，那么模型在没有高概率答案时会被强烈激励去猜测。与拒绝回答相比，错误回答它们并无损失。但它们可能侥幸猜对。幻觉是由“仅计数正确答案”的基准测试所催生的。如果确实测量并惩罚幻觉，通过训练可以将其降低到更低水平。2 - 流行基准测试被大量针对训练。人们不重视基准测试优化，虽然在某些情况下可能是个问题，但模型需要某种方式来衡量。基准测试集越广泛，且单个基准测试越准确地衡量其意图，那么“为测试而训练”与实际擅长任务之间的差距就越小。这对控制和对齐意味着什么？对于用户，这意味着我们需要专门针对透明度、诚实度和服从性的良好基准测试。即：模型是否试图隐藏其行为；它是否确实（在工具调用、思维链、网络使用中）执行了它所报告的内容；以及它是否按照你的指示行事，而不做你禁止的事情。对于对齐的另一面：利益冲突和武器化，问题不在于测试，而在于竞争、成本和开放性问题。如果模型大体上与其实际用户的利益和指令良好对齐，那么最安全的方式是让尽可能多的保护者、防御者和良性用户访问，以帮助发现和修复其自身漏洞，并为恶意用户可能尝试的行为做好准备。在这方面，拥有较少的提供者或主要是封闭模型，是较不安全的选择。