transformers

一位开发者分享了在 Hugging Face `transformers` 中开发新 "decision" 流水线的进展，旨在通过 `transformers serve` 支持所有 jev 类模型，为碎片化的模型生态系统带来标准化。

Quanta Magazine 探索「注意力」机制如何成为现代 AI 的核心：从 Dzmitry Bahdanau 2014 年的机器翻译研究，到 Google 2017 年的 Transformer 论文，再到 ChatGPT 等大语言模型的崛起。

Discover AI 是一款离线学习应用，提供 51 个动手实验，涵盖神经元、梯度下降、注意力、RAG、智能体、微调、量化与部署。部分实验可实际运行（如内置的拥有 137 万参数的小型 Transformer），无需账号，也不收集遥测数据，代码已在 GitHub 开源。

斯坦福大学新开设 CS 312「Deep Learning Alchemy」课程，由 Tatsunori Hashimoto 和 Suhas Kotha 主讲，聚焦深度学习中以经验为主的知识——超参数缩放、优化器不变性（μP、Muon）、损失景观与训练稳定性等，全部作业代码、测验和讲义公开，可视为 CS 336 的续作。

该论文从电路复杂度视角证明，标准流匹配采样步骤无法超越恒定深度模型的表达能力，而自条件化（self-conditioning）可将表达力提升至与空间受限图灵机等价，从而实现更深的视觉序列推理。

提出一种免重训练的方法，将预训练 Transformer 转化为可弹性伸缩的模型。通过联合排序并软剪枝单个 MLP 神经元和注意力头，在多种稀疏度目标下连续自适应计算预算，在 27 个视觉与文本 Transformer 编码器上实现了最高 60% 稀疏度下的平滑性能衰减。

该推文总结了优化 LLM 推理的 12 种 KV 缓存技术，包括滑动窗口、跨层共享、MLA、量化、前缀复用、分页、驱逐和 GQA/MQA 等，帮助开发者根据具体瓶颈选择合适的组合。

AWS研究人员提出了一种名为"priming"的方法，能够在无需完全重新训练的情况下，将预训练的Transformer转换为混合状态空间架构，将预训练成本降低99%以上，并发布了经过priming处理的8B和32B模型检查点。

一篇回顾文章，在10年后重新审视凯文·凯利在2016年出版的《必然》中对人工智能的预测，评估他对谷歌从搜索转向人工智能、基于云的商业智能的兴起，以及专用人工智能软件大脑的预见有多准确。

介绍 BenCoDiC——一个面向孟加拉语政治新闻语境的大规模网络欺凌语料库，包含来自 100 个 YouTube 视频的 50,250 条文本实例，保留了字幕-评论-回复关系，并通过两级人工标注达到 Fleiss’ κ=0.86 的一致性；实验表明，加入对话语境能带来稳定但幅度较小的分类性能提升。

该论文提出一种基于非线性时间延迟系统的序列建模框架，通过可微语义延迟估计器、对角状态空间的闭式 O(1) 解以及可解释的模糊语义调制机制，在文本分类和生成任务上超越了现有最先进方法。

NVIDIA 研究人员提出了 NV-Tesseract-AD，这是一种由课程学习增强、以 Transformer 为骨干网络的条件扩散框架，用于多变量时间序列异常检测。其 F1 分数达到未采用课程学习的基线模型的约 3.7 倍，并在 EasyTSAD 基准测试中展现出强大的零样本迁移能力。

该论文提出将 Transformer 网络解释为混合概率推理过程的可学习近似：自注意力对应在输入条件化、动态结构的马尔可夫随机场上执行 max-product 信念传播，而层间深度演进则对应隐式的期望最大化（EM）过程。基于此视角，作者提出 meta-model 范式，将自注意力、混合专家和门控单元等机制统一起来。

论文提出 KPSA（核化参数敏感度图谱），通过经验神经切线核的块分解构建紧凑表示，以一次前向计算估计未见输入的参数敏感度，替代逐样本反向传播归因，在视觉与蛋白质建模任务中以极小参数预算保留 39–85% 的扰动敏感度并大幅提升查询吞吐量。

提出克罗内克积注意力（KPA），使用克罗内克积的紧凑矩阵因子表示键值激活，实现最高 10 倍的 KV 缓存压缩，同时在多个模型规模和基准测试上达到或超越 TPA、MQA、GQA 和 MLA 等方法的表现。

该论文提出了一种全晶体管物理学习Transformer，通过在双电路中引入额外电路元件恢复双向信息流，并利用亚阈值MOSFET的指数电流定律构建注意力机制，仿真表明该电路可被训练执行简单的上下文学习任务。

FreeSolo 提出了一种原生稀疏注意力机制，结合短程滑动窗口和基于长程关键点的双分支结构，实现线性时间复杂度，并在无需昂贵的长上下文微调的情况下，将零样本长度外推能力提升至 256k+ token。

论文提出了 NoteBank，一种免训练的稀疏情景记忆，通过归档选定文本并通过原生计算进行重放来增强线性注意力模型，在一百万 token 下将 Gated DeltaNet 在 RULER 上的长上下文检索准确率从 1.7% 提升至 70.3%，且 FLOPs 开销可忽略不计。

该论文研究无分词器的字节级语言模型，发现配合 token-superposition 训练与哈希嵌入后，扁平 Transformer 随规模扩大能持续超越子词模型，并能自发学习出类似分词器的局部文本抽象，据此可将投机解码的接受率提升 3.4 倍。

NandakishorM 开源了基于物理的类型化决策模型 Vega（800M 及 4B 参数版本），采用 Test-Time Training 引擎 + 适配器架构，支持 73k 上下文和图像输入，通过在隐藏层构建"结果山谷"并用带摩擦的小球物理模拟来判定输出意图，单次推理超越多项 JEV 基准。