transformers

A developer shares progress on a new "decision" pipeline in Hugging Face `transformers` to support all jev-like models via `transformers serve`, aiming to bring standardization to the fragmented model ecosystem.

Quanta Magazine 探索「注意力」机制如何成为现代 AI 的核心：从 Dzmitry Bahdanau 2014 年的机器翻译研究，到 Google 2017 年的 Transformer 论文，再到 ChatGPT 等大语言模型的崛起。

Discover AI 是一款离线学习应用，提供 51 个动手实验，从神经元、梯度下降到注意力、RAG、智能体、微调、量化与部署，部分实验可真实运行（如内置 1.37M 参数的小型 transformer），无需账号且无遥测，代码已在 GitHub 开源。

斯坦福大学新开设 CS 312「Deep Learning Alchemy」课程，由 Tatsunori Hashimoto 和 Suhas Kotha 主讲，聚焦深度学习中以经验为主的知识——超参数缩放、优化器不变性（μP、Muon）、损失景观与训练稳定性等，全部作业代码、测验和讲义公开，可视为 CS 336 的续作。

该论文从电路复杂度视角证明，标准流匹配采样步骤无法超越恒定深度模型的表达能力，而自条件化（self-conditioning）可将表达力提升至与空间受限图灵机等价，从而实现更深的视觉序列推理。

提出一种免重训练的方法，将预训练 Transformer 转化为可弹性伸缩的模型，通过联合排序并软剪枝单个 MLP 神经元和注意力头，在多种稀疏度目标下连续自适应计算预算，在 27 个视觉与文本 Transformer 编码器上实现最高 60% 稀疏度下的平滑性能衰减。

该推文总结了优化 LLM 推理的 12 种 KV 缓存技术，包括滑动窗口、跨层共享、MLA、量化、前缀复用、分页、驱逐和 GQA/MQA 等，帮助开发者根据具体瓶颈选择合适的组合。

AWS researchers introduce 'priming,' a method that converts pre-trained Transformers into hybrid state-space architectures without full retraining, cutting pretraining costs by over 99% and releasing primed 8B and 32B model checkpoints.

A retrospective examining Kevin Kelly's 2016 AI predictions from The Inevitable, 10 years later, assessing how accurately he foresaw Google's shift from search to AI, the rise of cloud-based commercial intelligences, and special-purpose AI software brains.

介绍 BenCoDiC——一个大规模孟加拉语政治新闻语境下的网络欺凌语料库，包含来自 100 个 YouTube 视频的 50,250 条文本实例，保留了字幕-评论-回复关系，并通过两级人工标注达到 Fleiss' κ=0.86 的一致性；实验表明加入对话语境能带来一致但幅度较小的分类性能提升。

该论文提出一种基于非线性时间延迟系统的序列建模框架，通过可微语义延迟估计器、对角状态空间的闭式 O(1) 解以及可解释的模糊语义调制机制，在文本分类和生成任务上超越了现有最先进方法。

NVIDIA researchers propose NV-Tesseract-AD, a curriculum-enhanced conditional diffusion framework with a Transformer backbone for multivariate time-series anomaly detection, achieving ~3.7× F1 improvement over non-curriculum baselines and strong zero-shot transfer to EasyTSAD benchmarks.

该论文提出将 Transformer 网络解释为混合概率推理过程的可学习近似：自注意力对应在输入条件化、动态结构的马尔可夫随机场上执行 max-product 信念传播，而层间深度演进则对应隐式的期望最大化（EM）过程。基于此视角，作者提出 meta-model 范式，将自注意力、混合专家和门控单元等机制统一起来。

论文提出 KPSA（核化参数敏感度图谱），通过经验神经切线核的块分解构建紧凑表示，以一次前向计算估计未见输入的参数敏感度，替代逐样本反向传播归因，在视觉与蛋白质建模任务中以极小参数预算保留 39–85% 的扰动敏感度并大幅提升查询吞吐量。

提出 Kronecker Product Attention (KPA)，用 Kronecker 积紧凑矩阵因子表示键值激活，实现最高 10× 的 KV 缓存压缩，同时在多个模型规模和基准上匹配或超越 TPA、MQA、GQA 和 MLA 等方法。

该论文提出了一种全晶体管物理学习transformer，通过在双电路中引入额外电路元件恢复双向信息流，并利用亚阈值MOSFET的指数电流定律构建注意力机制，仿真表明该电路可被训练执行简单的上下文学习任务。

FreeSolo introduces a native sparse attention mechanism combining short-range sliding window and long-range keypoint-based branches, achieving linear-time complexity and improved zero-shot length extrapolation to 256k+ tokens without costly long-context fine-tuning.

The paper introduces NoteBank, a training-free sparse episodic memory that augments linear attention models by archiving selected text and replaying it through native computation, boosting Gated DeltaNet's long-context retrieval accuracy on RULER from 1.7% to 70.3% at one million tokens with negligible FLOPs overhead.

该论文研究无分词器的字节级语言模型，发现配合 token-superposition 训练与哈希嵌入后，扁平 Transformer 随规模扩大能持续超越子词模型，并能自发学习出类似分词器的局部文本抽象，据此可将投机解码的接受率提升 3.4 倍。

NandakishorM 开源了基于物理的类型化决策模型 Vega（800M 及 4B 参数版本），采用 Test-Time Training 引擎+适配器架构，支持 73k 上下文和图像输入，通过在隐藏层构建"结果山谷"并用带摩擦的小球物理模拟来判定输出意图，单次推理超越多项 JEV 基准。