可靠性正成为严肃AI发布竞争的实际轴线，而非它们听起来有多聪明

如果我们从每周的模型发布中退后一步，你会发现严肃AI发布在试图推销的东西上出现了一个转变，这一点值得那些只是偶尔关注而非实际构建的人理解。第一波生成式热潮比拼的是能力和流畅度：谁的模型听起来更聪明、写得更好、在琐事式测试中得分更高。新一波浪潮，尤其是针对真实知识工作的深度研究系统，正在比拼一些不那么光鲜但可以说更重要的东西：你能相信答案吗？最近几个发布的框架表明，实际中最有害的失败不是模型明显在编造，而是给出自信的答案，看起来完全正确但实际是错误的。已经有公开案例：一家律师事务所提交了含有伪造引用的法律文件，一份咨询报告带着虚构参考文献发布，这些均由看起来胜任且内部一致的系统生成。最近的一些发布从不同角度汇聚到同一个想法。一种方法是将模型的输出与它在生成过程中从未见过的评分标准进行对比，本质上是一个第二遍检查，只知道问题和答案，不知道答案是如何得出的。另一种方法是运行多个独立搜索，并在来源不一致时标记出来，而不是将它们融合成一段流畅的段落。第三种方法是完全分离任务：一个未参与生成的单独系统对声明进行新鲜来源的核查。这些都是同一个赌注的变体：检查必须是与生成不同的行为。一些较新的发布将这种失败模式称为'pseudo-correctness'，即一个答案通过了系统能对自己运行的所有检查，但仍然是错误的。这个名称很有用，因为它指向了正确的修复方法。如果你称之为'幻觉'，你会倾向于"让它再检查一遍"，而这恰恰是不起作用的做法，因为产生错误的同一个盲点正在执行检查。Apodex 是清晰阐述这一点的一个发布：他们建立了一个独立的验证团队，从不接触原始推理，当打开独立验证器时，同一个模型在一个困难的网络研究基准测试中从大约75分提高到大约90分，权重没有变化。其他实验室也在做相关工作，这只是对这次转变的较清晰的一个单独阐述。对于普通受众来说，实际要点相当简单。AI的下一个竞争轴线是可靠性，而不仅仅是原始智能，这对任何想用这些工具做真实决策而非玩具问题的人来说都是好消息。最值得怀疑的是那些看起来精致且确定的答案，因为这正是这些系统现在被构建来捕捉的类型。当你评估任何深度研究工具时，问题不在于答案读起来有多好，而在于什么检查了它。这并不意味着可靠性问题已经解决，基准仍然是基准，营销总是跑在现实前面。但这个方向比过去两年'只要做大'更健康，并且今年已经在发货的产品中体现，而不仅仅是在白皮书中。值得关注哪些实验室最终将验证视为系统的核心，而不是事后附加的功能，因为这种区别将变得重要。