标签
该推文推荐了斯坦福大学CS336课程及一系列学习资源，作为加入OpenAI的准备路径。
Alisa Liu 宣布她将加入 OpenAI，并分享了一篇关于求职经历的博客文章，其中包含来自斯坦福大学《从头开始的语言建模》课程的见解。
本文探讨了将gzip压缩算法用作语言模型的可行性，展示了压缩算法可以通过基于压缩长度对候选续文进行评分并利用束搜索来生成文本。
该推文说明了任何压缩工具（包括 gzip）都能被改装用于语言建模，而且 gzip 可以生成颇为类似莎士比亚风格的文本。并附有相关文章链接。
提出 ac-gpt，一种对因果Transformer的简单修改，使其能够在单个前向传递中评估和采样任意条件（过去、未来、混合），同时保持从左到右的顺序和下一个词预测，从而允许现有LLM微调用于任意条件建模。
本文从偏差-方差角度对扩散语言模型进行了理论分析，识别了掩码扩散与均匀扩散核之间的权衡。提出了SemDLM+，通过添加全局转移和语义频率惩罚来克服语义盆地问题，在LM1B和OpenWebText基准上实现了有竞争力的生成质量。
介绍了Kuramoto注意力，一种自注意力层，其中隐藏状态是环面上的相位角，通过门控余弦相似度和循环均值更新实现同步。该层在字符级语言建模上的性能与标准Transformer相当。
本论文研究了Transformer是否需要独立的键和值投影，发现共享它们可将KV缓存减少50%，而困惑度仅增加3.1%，并且与GQA和MQA结合时进一步减少。
斯坦福大学提供一门综合课程CS336，学生将从零开始构建语言模型，涵盖数据收集、Transformer构建、训练和评估。
The Cognitive Categorical Transformer (CCT) 使用范畴理论组件增强GPT-2 Small，在匹配训练条件下在WikiText-103上实现了12%的相对困惑度降低，其中单纯消息传递贡献了84%的改进。
介绍Parallax，一种参数化局部线性注意力机制，结合硬件感知优化，提升LLM预训练效率和性能，在0.6B和1.7B规模实现帕累托改进。
本文引入同策略蒸馏，通过在教师提供的token级KL正则化下，在学生自身轨迹上训练学生模型，解决训练-推理分布不匹配问题，统一了前向KL、反向KL和JSD损失，其中反向KL更适用于较小的学生模型。
NVIDIA 推出 Gated DeltaNet-2，一种在不导致灾难性遗忘的前提下编辑模型压缩记忆的方法，使用独立的门控机制分别执行擦除和写入操作。该方法在语言建模和长上下文任务上优于 Mamba-2、Mamba-3 等现有模型。
HRM-Text 引入了一种分层循环模型，将计算解耦为慢速和快速层级，使得仅使用400亿个token和1500美元预算即可从头开始高效预训练，实现了与更大模型竞争的性能。
FlowLM 提出了一种流匹配语言模型，通过高效微调从预训练扩散模型衍生而来，能够实现高质量少步文本生成，其效果可与2000步扩散采样相媲美，而训练轮次更少。
Gated DeltaNet-2 为线性注意力引入了独立的擦除门和写入门，在长上下文语言建模和检索任务中实现了优越的性能。
本文介绍了 S-FLM，一种新颖的基于流的语言模型。该模型在超球面潜在空间中运行，旨在解决现有离散扩散模型和连续流模型的计算成本高昂及语义表达受限等问题。
本文介绍了吸引子模型，该模型利用定点求解和隐式微分进行高效的迭代优化，在降低计算成本的同时，实现了相较于传统Transformer更优的语言建模和推理性能。
本文介绍了一种扩散语言模型，将文本视为二进制比特流上的连续过程，利用熵门控随机采样来缩小与自回归模型的性能差距。该模型在 LM1B 和 OWT 基准测试中取得了最先进的结果，同时降低了内存占用。