@Sapient_Int: 推出 HRM-Text。一个超精简的 1B 参数推理语言模型,旨在提供强大的通用性能…

X AI KOLs Timeline 模型

摘要

Sapient Intelligence 推出 HRM-Text,这是一个 1B 参数的推理语言模型,仅使用 40B tokens 训练,预算为 1000 美元,在大幅减少数据和计算需求的同时实现了具有竞争力的性能。

推出 HRM-Text。 一个超精简的 1B 参数推理语言模型,仅用少量数据、计算和基础设施就能提供强大的通用性能。 HRM-Text 仅使用 40B 结构化 tokens 进行训练,其训练数据量约为同类模型的 1/1000,同时实现了具有竞争力的性能。 更令人惊讶的是?完整模型在约一天内即可完成训练,预算仅需 1000 美元。 这为新一代强大、易获取且更易于适应的人工智能打开了大门。曾经被认为测试成本过高的理论和研究概念如今正式重返舞台。 Sapient Intelligence 邀请您帮助我们塑造通用智能的新范式。
查看原文
查看缓存全文

缓存时间: 2026/05/19 02:37

介绍 HRM-Text

一款超精简的1B参数推理语言模型,旨在以极低的数据量、计算资源和基础设施成本,实现强大的通用性能。

HRM-Text仅基于400亿个结构化标记进行训练,在实现具有竞争力性能的同时,训练数据量仅为同类模型的约1/1000。

更令人惊讶的是?整个模型的训练仅需约一天,预算仅为1000美元。

这为新一代强大、易获取且极易适配的AI打开了大门。曾经因成本过高而无法测试的理论和研究概念,正式重获探索可能。

Sapient Intelligence诚邀您携手,共同塑造通用智能的新范式。

相似文章

sapientinc/HRM-Text-1B

Hugging Face Models Trending

Sapient Intelligence 发布了 HRM-Text-1B,这是一个拥有10亿参数的语言模型,采用新颖的双时间尺度循环架构(分层推理模型),以有限的参数数量提供无限的计算深度。预对齐检查点已在 Hugging Face 上开放获取。

HRM Seems To Be Going Off Right Now

Reddit r/LocalLLaMA

Sapient Intelligence发布了HRM-Text,一个1B参数的文本生成模型,仅用0.04万亿token训练(成本约1000美元),在多个推理基准上超越训练数据多100-1000倍的更大模型,标志着AI训练新范式的开始。

New SOTA 1B model? HRM-text

Reddit r/LocalLLaMA

HRM-text 是 Sapient Intelligence 提出的 1B 参数分层推理语言模型,通过内部潜在空间高效思考,以极低训练成本实现超越多数同尺寸模型的性能。

HRM-Text: 超越规模的高效预训练

arXiv cs.CL

HRM-Text 引入了一种分层循环模型,将计算解耦为慢速和快速层级,使得仅使用400亿个token和1500美元预算即可从头开始高效预训练,实现了与更大模型竞争的性能。