efficient-pretraining

Halcyon 证明，仅凭图像-文本对即可从零开始训练出强大的文本到图像生成模型，无需大规模语言预训练，并以远低于现有模型的算力取得更优性能。对照实验表明，仅进行语言预训练并不能提升 T2I 生成效果。

HRM-Text 引入了一种分层循环模型，将计算解耦为慢速和快速层级，使得仅使用400亿个token和1500美元预算即可从头开始高效预训练，实现了与更大模型竞争的性能。

HRM-Text是一个10亿参数文本生成模型，采用受大脑启发的分层循环架构，仅用400亿token和约1000美元即可实现高效预训练，大幅降低计算和数据需求，使得基础模型训练更加可及。