New SOTA 1B model? HRM-text

TL;DR: HRM-text 是 Sapient Intelligence 提出的 1B 参数分层推理语言模型，通过在内部潜在空间进行类似人类的高维思维（无需中间语言令牌），实现了极低训练成本下（约 1000 美元、一天内完成）超越多数同尺寸模型的性能。 ## 思维链的局限性：模型为何必须“说话”才能思考 当前主流大语言模型依赖于**思维链**（Chain-of-Thought）——模型必须把推理的每一步都显式地“说”出来，才能推进下一步。就像一个人从飞机上空降到矿区寻找黄金，只有一台金属探测器，落地后只能挖 20 次（对应 Transformer 的 20 层），然后必须报告中间发现，再用新的上下文继续挖。一旦某一步出错，整个推理就会脱轨。 这种机制需要海量训练数据，并且随着任务变难，使用的中间令牌（tokens）越来越多，推理速度变慢、成本升高。本质上，思维链就是“挖 20 次→输出上下文→再挖 20 次→重复直到解决”。 ## 人类思维的启发：先想再说 人类的思考并非先处理语言。思想往往始于抽象的高维信息流——一个连续的、高效的概念空间，让我们快速探索复杂关系。随后，我们才将这些丰富的思维“压缩”到低维的语言中。失语症患者的语言能力受损，但仍能执行高级抽象推理，说明语言只是交流工具，而非思想的容器。 ## HRM-text 的工作原理 **HRM-text**（由 Sapient Intelligence 开发）受大脑启发，采用**分层推理**。它不会直接跳到语言输出，而是将问题放入一个内部的**潜在空间思维导图**中。在这个空间里，词语被转化为高维向量，像一张精确的地图——包含坐标、距离、关系等通常无法用语言表达的信息。 模型设有两个系统： - **H（高级系统）**：高阶指挥官，类似寻金人。它监督全局，规划整体路线，周期较慢，能看到整体布局。 - **L（低级系统）**：低层执行者，类似淘金者。它探索具体位置并报告发现，周期较快，处理详细计算。 H 和 L 形成层级团队：H 引导方向，L 执行探索。如果 L 只找到砂砾，H 会调整计划；如果发现金矿迹象，H 指导深入。这个循环持续更新内部地图，直到理清解决方案。整个过程完全在内部进行，无需中间令牌——HRM 在“说话”之前先思考完毕。 ## 极低的训练成本与惊人的效率 HRM-text 1B 参数版本使用的训练令牌数量仅为 **Llama 2 2.2 3B** 的约同等量级，但仅为 **Qwen 3.5 2B** 的 **1/1900**；训练计算量（FLOP）约为 Qwen 3.5 2B 的 **1/600**。换句话说，它用极小的训练资源达到了同类模型的效果。 ### 基准表现 在 MATH、DROP、Arc Challenge 和 MMLU 等常见基准上，以“训练令牌 vs 分数”图表来看，HRM-text 位于左上角——代表训练数据最少、性能最好。切换到计算量图表，结论一致。 Sapient Intelligence 宣称，现在可以**仅以约 1000 美元的成本、在一天之内**从头训练一个性能与成本高出千倍的同类别 SOTA（最先进）模型相媲美的模型。 ## 范式转变的意义 HRM-text 标志着一种新范式的开端：不再依赖堆叠 GPU、电力与巨额资金来扩大模型规模，而是通过模仿人类大脑的高效思维结构，实现**更低成本、更好性能、更快迭代**。Sapient Intelligence 认为，这为通向通用人工智能（AGI）打开了新的可能性——曾经因过于昂贵而无法实现的概念，重新回到桌面上。他们相信，这条路径将导向更高效、更强大、最终成为最精简的通用智能。 ## Source [YouTube 视频链接](https://youtu.be/U6K2MP6VseM) GitHub: [sapientinc/HRM-Text](https://github.com/sapientinc/HRM-Text) Hugging Face: [sapientinc/HRM-Text-1B](https://huggingface.co/sapientinc/HRM-Text-1B)