transformers

论文提出受控证据聚合（CEA）与平衡效用因果选择（BUC）方法，通过符号探针定位出可影响Transformer自然语言决策的紧凑注意力头集合，并在Pythia-410M上验证其因果效应。

提出了 BehaveRec 三信号框架（因果会话 Transformer、90 天用户历史编码器、基于行为嵌入相似度的用户图 GraphSAGE），在 137M 条工业序列上研究长期行为历史何时真正有益于序列推荐，并得出约 20 次交互的实用部署阈值。

论文提出 QViD，一种免训练的查询感知视觉token剪枝方法，通过发现查询-视觉交互矩阵的低秩结构并分解出主导潜在交互模式，在图像与视频理解基准上以相同token预算持续提升性能，尤其在高压缩率下增益显著。

An open-source repository documenting 20 exploratory studies on Next-Concept Modeling (NCM), mechanistic interpretability (such as IOI in GPT-2), and model controls, with full code, results, and transparent reporting of both positive and negative outcomes.

A Stanford CS312 (Deep Learning Alchemy) instructor posts exam-style prediction questions testing deep learning intuition, asking whether learning-rate or weight-decay rescaling can compensate for an 8× batch size increase in an AdamW-trained Transformer.

该论文研究如何通过联合训练策略，让预训练语言模型同时支持单次前向和循环推理两种路径，在保留单次推理质量的同时获得循环计算带来的性能增益。

The paper shows that five frozen, independently trained models (four transformers and one state-space model) can be aligned into a shared representational space via Generalized Procrustes Analysis on activations alone, achieving 0.91–0.93 held-out retrieval accuracy at final layers, while reporting a negative result that routing among the models does not beat always using the strongest model.

Propasafe-Hybrid 是一个句子级的混合式宣传检测系统，将微调的 Transformer 分类器与 LLM 技术分类相结合，并通过成本感知的预过滤阶段减少 token 消耗，同时提供可解释的标注和理由。

The paper shows that sparsity-inducing regularization causes functional modularity to emerge in multitask neural networks, identifying compact task-selective subnetworks ('functional tokens') that can be recombined across pathways without retraining.

该论文将七种关于 Transformer 能力的形式化理论统一到一个预测矩阵中，并通过受控实验检验这些理论，发现没有任何单一理论能完整解释 Transformer 的实际成败，进而总结出未来理论必须涵盖的关键特征。

This paper introduces a mathematical theory explaining why Anthropic's Jacobian lens (J-lens) preferentially detects coherent features—leading, spatially coherent Lyapunov modes—in LLM hidden states, validating the analysis on Bayes filters and toy transformers, and proposing a family of ω-J-lenses emphasizing different temporal scales.

该论文提出 Transformer Energy-based Model (TEM)，通过在潜空间中构建可扩展的 Transformer 能量函数并多层能量聚合，实现了无需 classifier-free guidance 的高质量图像生成（ImageNet 256×256 FID-50K 达 3.82），验证了 EBM 的组合生成、零样本修复与分布外检测能力。

该论文证明每个 Transformer 块都可精确编译为由固定仿射映射、路由及 sigmoid/逆平方根等基本算子构成的通用深度神经网络，量化分析了去除激活-激活乘积的代价，并提出多智能体注意力聚类方法将打分复杂度从 N² 降至 Nk，实验在 DeiT-Tiny、MambaIRv2-Light 和 Pythia-70M 上验证了编译模型与原模型一致且标准后训练量化可直接适用。

该论文基于等变度数理论（equivariant degree theory）提出了一种通用的拓扑对称性指数，用于刻画神经网络损失景观中临界轨道的各向同性及其净拓扑贡献，适用于任意网络架构并给出软激活 MLP、Transformer 和等变神经网络的计算示例。

该研究提出一种分解式关系抽取框架，在NTSB航空事故叙述基准上评估TF-IDF SVM与RoBERTa在关系稀疏条件下的表现，发现穷举评估下性能大幅下降且假阳性泛滥，凸显候选空间管理与假阳性控制的挑战。

LEAF 提出首个 LUT 感知的 Transformer/linformer 架构，面向 FPGA 上的超低延迟推理，在喷注标记基准上以更少 LUT 资源实现更高精度，适用于 CERN 等实时系统。

UC Berkeley, Apple, EPFL, Harvard, MIT, and Google DeepMind researchers show that two-layer transformers trained on sorting converge to one of two mechanistically distinct solution classes depending on initialization, where only the two-attention-layer solution length-generalizes perfectly.

该论文研究了在均匀扩散语言模型（UDLM）中循环早期 Transformer 层的方法，在不改变训练目标和采样器的前提下，以显著更少的训练 FLOPs 达到相同的验证 NLL，并在推理时降低生成困惑度。

提出 ALLOT：一种训练自由的块稀疏注意力分配方法，通过细胞探测与轨迹校准在延迟预算内优化视频扩散 Transformer 各层-步的稀疏度，在 HunyuanVideo 上实现 11.8 dB PSNR 提升。

《Mathematical Theory of the Transformer》是一部长达825页的数学专著，系统阐述了Transformer架构的理论基础，涵盖嵌入、自注意力、矩阵分解、谱分析、信息几何、训练动力学与优化等主题。