思维链是一个扩展陷阱。下一波是潜在推理(Coconut / HRM / RecrusiveMAS)……但随后我们遇到了黑箱难题。BDH 适合哪里?[D]

Reddit r/MachineLearning 新闻

摘要

本文认为,思维链推理是一种临时性技巧,未来在于像 Coconut、HRM 和 RecursiveMAS 这样的潜在推理方法。文章讨论了黑箱问题,并提出了基于 DAGs 和验证的外循环治理方案,同时将 BDH 定位为一种结合潜在计算与有状态记忆的模型。

读了一篇关于LLM推理未来的长文,提出了一个颇具争议的观点:思维链(CoT)是一个有用的技巧,但我们已经开始将可读的痕迹与实际计算混淆。总而言之,“生成文本并不等同于思考。”这里有两个实际问题: 忠实性:CoT风格的痕迹可能偏离模型实际“做”的事情。你可能会得到看似合理但答案错误的步骤,或者步骤混乱但答案正确的情况(所以痕迹不是可靠的审计线索)。 系统成本:自回归推理将中间工作序列化为令牌。更长的痕迹会增加延迟、成本和上下文使用。 潜在转向(停止让模型“公开思考”):最近很多工作将内部循环转移到潜在空间,只在最后解码语言:Coconut(连续/潜在“思考”步骤)、HRM / HRM Text(将较慢的规划与较快的递归执行分离)、RecursiveMAS(代理传递潜在嵌入,而不是长文本消息)。 我提出的一个框架:语言作为接口 vs 语言作为计算基板。我同意语言对于沟通和抽象至关重要,但强迫搜索/约束求解序列化为文本既笨拙又昂贵。 黑箱难题:如果“思考”发生在数十次潜在循环中,你就失去了原本通过CoT获得的不完美窗口。在生产环境中,尤其是在高风险领域,“无可见性”是一个真正的障碍。 一个提出的解决方案是外循环治理层(例如,一个符号/规划管理器,构建可审计的子目标DAG,并在每个节点进行确定性验证:单元测试、约束、规则等)。可审计性从“阅读模型的内心独白”转变为“审计计划+检查+验证输出”。 BDH 适合哪里 BDH(Dragon Hatchling)在这个领域中很有趣,因为它旨在保留语言建模能力,同时添加循环或有状态的潜在计算,而不是仅仅作为一个受监督的谜题求解器。Pathway 报告显示,基于 BDH 的系统在约25万道数独极难题上取得了97.4%的top 1准确率,无需CoT或解回溯。数独是约束求解的有用诊断,但不是通用推理的完整衡量标准。 我发现一个澄清点:许多递归潜在推理器擅长深度递归(在问题的固定快照上迭代),但真正的智能体/语言设置是一个流:新令牌不断到达。这就引入了时间递归问题:你何时推进时间,你又携带什么状态/记忆?BDH 宣称的研究方向基本上是将这些结合起来,即高带宽潜在迭代和一个关于时间的原理性状态/记忆故事。它还提供了一个可恢复的图视图以及稀疏、局部化的状态,提供了一些原生的可解释性钩子,但这与系统级验证是互补的,而不是替代。 我想听听大家的看法: CoT 是否越来越成为一个昂贵的接口人工产物,而不是可扩展的推理路径? 对于高风险用途,我们是否不可避免地需要一个DAG/验证外循环,还是原生模型分析钩子能够有意义地减少治理负担(即使它们不能完全替代)? 如果潜在递归是内循环,那么外循环在实践中应该是什么?DAG、单元测试、形式规范、证明助手,还是其他什么?
查看原文

相似文章

推理模型难以控制其思维链,但这其实是好事

OpenAI Blog

OpenAI的研究人员研究了推理模型是否能故意隐藏其思维链以逃避监控,发现当前模型即使知道自己被监控,也难以控制自己的推理过程。他们推出了CoT-Control,一个包含超过13,000个任务的开源评估套件,用于衡量推理模型中思维链的可控性。