transformers

Hugging Face 推出 transformers-mic，这是一套模型集成契约（Model Integration Contract，MIC）标准，将小型发布测试夹具、可运行的使用路径和人工审核的基线打包在一起，以便在廉价的 CPU 运行器上捕获模型回归问题，避免其进入 Transformers 主分支。

团队发布了 Latent Sparse Attention（LSA，潜在稀疏注意力）这一开放研究成果，实现了亚二次复杂度的注意力机制，在超长上下文中达到与全注意力相当的准确率，使稀疏注意力最高提速 22.7 倍，全注意力最高提速 72.4 倍。

论文提出了 Library of Layers (LoL)，一种在推理时动态重排其层的 Transformer 架构，统一了稠密（dense）、深度递归（depth-recurrent）与 MoE 等基线在参数复用与稀疏性之间的权衡，并在推理、多语言和安全任务上实现了可解释的路由。

Zyphra Research 的一篇论文介绍了 Zyphra 分层注意力（ZHA），这是一种亚二次复杂度的稀疏注意力方法，在 KV 缓存上使用分层树状索引器，可通过短程 KL 蒸馏适配预训练模型，并在上下文长度超过 100 万时展现出显著更优的扩展性。

本文表明，在推理时将 GPT-2-XL 中 729 个对任务而言冗余的注意力头置零，可使逐字记忆减少 91.5%，同时略微改善 WikiText-103 上的困惑度，为缓解大语言模型的隐私泄露提供了一种无需训练的方法。

本文在受控的单头注意力设定下提出了一种用于长度泛化的可实现性理论，通过仿真迁移算子推导出相对位置编码与绝对位置编码在外推行为上存在差异的原因，并通过对2625个已训练模型的实验验证了这一理论结构。

该论文从随机最优控制的角度为 Transformer 在非马尔可夫数据上的近无损下一词预测提供了数学理论，构造了深度 M+1 的 Transformer 实现截断滤波器，并在平稳遍历性或滤波稳定性条件下证明误差可随上下文长度和数据量任意减小。

该论文提出了两种基于核的插值型 KV 缓存压缩方法 GAIM 和 Q-DAIM，以及相应的线性时间替代变体和流式注意力扩展，在 LongBench-E 上取得了与最先进方法相当的性能。

免费的开源“从零开始的 AI 工程”课程，以原始数学原理为起点，教授如何使用 Python、TypeScript、Rust 和 Julia 构建反向传播、分词器、注意力机制、Transformer、混合式 RAG 和智能体，并提供终端内交互式辅导和可运行的模拟。

一篇关于AI模型未来可能出现的架构创新的推测性讨论，包括循环Transformer、Gated Delta Net 2变体、注意力残差，以及扩散Transformer可能在不损失智能水平的前提下重新回归。

一篇综述与立场论文，认为不同模态的嵌入研究正通过对比学习和 Transformer 架构走向融合，并提出一个涵盖覆盖性、可比性和组合性的框架，将变换、对齐和联合嵌入视为通向全模态统一的路径。

Show HN：一个将整数神经网络编译成 ZDoom 地图的项目，让 DOOM 的巫毒娃娃和扇区属性来执行运算，并通过 NumPy 进行了逐比特精确验证。虽然速度极慢，但完全可验证，还能让玩家实时手写数字供 DOOM 进行分类。

Mistral Large 4（内部代号 Le Chonk）现已在 Hugging Face Hub 发布——这是一款多模态、多语言的混合专家（MoE）模型，总参数量达 1T、激活参数 49B，支持 1M token 上下文窗口，并在 transformers、vLLM 和 llama.cpp 中获得首日支持，同时提供量化 GGUF 版本。

Transformers v5.22.0 发布，新增对 Mistral Large 4 (Le Chonk) 模型的支持。

该推文整理了 Anthropic 相关的 6 道 ML 练习/面试题目，涵盖数据清洗、分词器实现、Transformer 架构、推理延迟优化以及分布式训练 pipeline 设计。

在 EMNLP 2026 上，T-Tech 研究人员介绍了 LIMe，这是一种轻量级注意力扩展，通过复用较早层的键值缓冲区来缓解表征坍缩。在约 10 亿参数的模型上，与基线 LLaMA 相比，它在保持同等质量的同时，将大语言模型的训练计算量减少了约 15%。

SpecSlot 是一种像素空间 rectified-flow Transformer，通过将空间锚点扩展为分配不相交 DCT 系数带的多个槽位，并仅让最低频槽参与全局注意力，在不增加计算成本的情况下提升图像细节生成质量。

AB-Attention提出一种免训练的块稀疏注意力方法，通过块内聚类选择、包含概率加权采样和细粒度核收集来近似稠密注意力，在Wan2.1和HunyuanVideo上跳过89-92%注意力计算，同时PSNR提升最高4.4dB，端到端加速最高2.23倍。

斯坦福大学的 CS 312“深度学习炼金术”课程将构建理论的重担交给学生（以及他们的 Claude 助手），让他们在一个用 6.14 亿个 token 训练的 8 层 Transformer 上开展消融实验，以实证方式探究 Transformer 的各个组件——这引发了一个反思：也许死记硬背的机器学习知识从来就没那么重要。

该论文研究语言模型在处理花园路径句后是否会保留被放弃的句法分析残余，发现残余效应主要储存在名词短语的状态中，并可通过激活修补（activation patching）在32B和70B模型中近乎完全消除该残余。