标签
这条推文讨论了在AI写作模型中使用概率方法来复制个人语言决策的挑战,可能推动AI辅助写作的发展。
这篇文章推广了PyTorch Conference North America,重点介绍了来自UBS的Witold Czubala的一个会议,他讨论了使用基于PyTorch的Transformer模型从纵向电子邮件数据中进行财富管理的时间至事件预测。
本文提出了基于表示的遮蔽扩散模型(RMDM),该模型利用文本表示来改进遮蔽扩散模型中的并行令牌更新,特别是在少步采样中提升生成质量。
本文介绍了循环GPT-BERT,它通过深度方向参数共享来训练参数更少的小型语言模型,在BabyLM 2026严格小规模设定中达到了与基准模型相当的性能。
介绍了卡尔曼增量网络,该网络通过将线性注意力重新表述为带有卡尔曼滤波更新的线性高斯状态空间模型来改进语言建模,以追踪记忆不确定性,从而产生比现有线性注意力模型性能更优的高效近似。
本文研究了分层字节级语言模型,并揭示了其设计限制了字符级理解,纯字节级模型在字符操作任务上优于它们,从而确立了计算效率与细粒度性能之间的权衡。
本文介绍了Gated Recurrent Transformer模型,该模型通过自适应更新门在深度上重用共享核心,以更少的参数和更低的内存实现与更深模型相当或更好的质量。
本文研究了当分词与语言建模联合优化时所学习到的词元,比较了跨多种语言的无分词器方法,发现它们为自然语言处理生成了独特而高效的词汇表。
本文提出Q-Interference,一种用于GPT模型的内存高效量子启发注意力机制,该机制使用相位感知评分和精确三角因式分解,以改善令牌交互而不增加内存开销。
BCMT引入了一个分块因果记忆Transformer架构,它在长上下文语言建模中解耦了局部和全局依赖,在保持与密集Transformer相当的性能的同时提高了效率。
本文介绍了full-bandwidth transformers,它利用潜在反馈来增强自回归模型,允许未表达的计算重新进入堆栈,从而以可忽略的解码开销提高性能。
这篇 arXiv 论文介绍了 TEMPER,一种用于超连接残差路由的张量化参数化方法,在保持表达性、流形约束路由的同时减少参数增长。实验表明,在需要大幅减少额外参数的情况下,它能够匹配或超越现有方法。
全带宽Transformer是一种新的Transformer变体,通过门控线性单元反馈顶层隐藏状态,在不改变核心架构的情况下提升推理能力和效率。在多达400B个token上训练后,它能匹配使用1.5倍数据训练的标准Transformer,同时生成更短的推理轨迹。
Kathleen系列的这篇论文表明,一个约0.5M参数、无注意力机制的字节级模型在WikiText-103语言建模和生成上可以击败参数匹配的transformer;引入了一种非参数的“形式距离”(Form Distance)度量来评估文本真实感;并证明从模型自身训练语料库进行检索增强解码能提高生成质量。
本文从自然语言处理(NLP)的视角研究阿拉伯语字符形式与功能之间的关系是否具有任意性,结果表明,将字符随机重新映射到缩减的rasm集合上,可以在各种NLP任务中取得具有竞争力的表现。
PreDiff-LM 提出了一种混合注意力机制,该机制对提示令牌保持因果注意力,对掩码目标令牌使用双向注意力,从而使得预训练自回归模型能够适应离散掩码扩散语言建模,在困惑度和下游任务上相较于先前的扩散基线取得了改进。
本文分析了为什么确定性JEPA风格的潜在预测适用于图像但不适用于文本,将失败归因于语言中的高条件方差,其中被屏蔽的上下文允许多个有效补全,而这些补全的表征缺乏一致的质心。
本文提出了一种无参数的自适应稀疏注意力方法,利用gzip压缩比动态选择非冗余块进行长程注意力,在PG-19语言建模上相较于固定和学习的稀疏注意力基线取得了显著的困惑度提升。
一个个人项目,使用Fineweb-edu数据集中的10亿个token训练了一个0.5M参数的语言模型。
Gigatoken 是一个即插即用的替代 tokenizer,声称相比 HuggingFace 的 tokenizer 速度提升高达 1000 倍,支持许多常见的 tokenizer 和 CPU。