@Sapient_Int: 推出 HRM-Text。一个超精简的 1B 参数推理语言模型,旨在提供强大的通用性能…
摘要
Sapient Intelligence 推出 HRM-Text,这是一个 1B 参数的推理语言模型,仅使用 40B tokens 训练,预算为 1000 美元,在大幅减少数据和计算需求的同时实现了具有竞争力的性能。
查看缓存全文
缓存时间: 2026/05/19 02:37
介绍 HRM-Text
一款超精简的1B参数推理语言模型,旨在以极低的数据量、计算资源和基础设施成本,实现强大的通用性能。
HRM-Text仅基于400亿个结构化标记进行训练,在实现具有竞争力性能的同时,训练数据量仅为同类模型的约1/1000。
更令人惊讶的是?整个模型的训练仅需约一天,预算仅为1000美元。
这为新一代强大、易获取且极易适配的AI打开了大门。曾经因成本过高而无法测试的理论和研究概念,正式重获探索可能。
Sapient Intelligence诚邀您携手,共同塑造通用智能的新范式。
相似文章
sapientinc/HRM-Text-1B
Sapient Intelligence 发布了 HRM-Text-1B,这是一个拥有10亿参数的语言模型,采用新颖的双时间尺度循环架构(分层推理模型),以有限的参数数量提供无限的计算深度。预对齐检查点已在 Hugging Face 上开放获取。
HRM Seems To Be Going Off Right Now
Sapient Intelligence发布了HRM-Text,一个1B参数的文本生成模型,仅用0.04万亿token训练(成本约1000美元),在多个推理基准上超越训练数据多100-1000倍的更大模型,标志着AI训练新范式的开始。
HRM-Text: 仅用1千美元和400亿token训练,采用受大脑启发的分层潜在架构
HRM-Text是一个10亿参数文本生成模型,采用受大脑启发的分层循环架构,仅用400亿token和约1000美元即可实现高效预训练,大幅降低计算和数据需求,使得基础模型训练更加可及。
New SOTA 1B model? HRM-text
HRM-text 是 Sapient Intelligence 提出的 1B 参数分层推理语言模型,通过内部潜在空间高效思考,以极低训练成本实现超越多数同尺寸模型的性能。
HRM-Text: 超越规模的高效预训练
HRM-Text 引入了一种分层循环模型,将计算解耦为慢速和快速层级,使得仅使用400亿个token和1500美元预算即可从头开始高效预训练,实现了与更大模型竞争的性能。