transformer

作者训练了一个拥有 41.4 万个参数、从零实现的 Transformer 来模仿 boids 鸟群行为，并用线性探针研究模型内部对三条 boids 规则的表征是否与其实际使用的机制一致。研究发现，聚合规则在训练前即可被读出，对齐规则依赖第二个注意力层，而首次训练的模型实际上并未利用鸟群信息。

TypeSafe AI是非文本AI模型Jev的开发商，在推出仅数周后便以75亿美元的估值完成了8.7亿美元的融资，由Andreessen Horowitz领投，Sequoia和DCVC参投。Jev输出的是经过校准的决策概率而非文本，据称比大语言模型（LLM）速度更快、token效率更高得多，据报道财富500强企业中已有三分之一在使用该模型。

该论文提出了一种基于 Transformer 的文本自编码器，采用残差式下采样/上采样和离散瓶颈结构，在网络文本上实现了每字节 2.24 比特的压缩率——这是文献中文本自编码器所达到的最高压缩率——同时保持了出色的重建质量和下游任务性能。

提出一种基于轻量级时序Transformer CAN编码器与联邦学习轻量头部的隐私保护框架，用于检测车内网络中的细微时序与上下文异常，无需交换原始CAN数据即可提升共享模型。

语音事件检测器：一个拥有 580 万参数的卷积-Transformer 模型，可输出 54 类语音/背景事件带时间戳的概率，并通过后处理将其合并到 Whisper 转录文本中。该模型使用七个统一整合的公共数据集进行训练，并采用合成数据增强，在 CPU 上的运行速度达到实时速度的 39 倍。

Moonworks 发布 Lunara 论文，提出一种激活参数量低于 10B 的 Diffusion Mixture Transformer 架构，用于图像生成中的艺术智能建模，并在 GPT-5.6 Sol 评测及人工盲评中取得最佳审美质量得分。

EngramEdit 提出一种通过条件记忆（conditional memory）实现 LLM 解耦知识更新的方法，联合更新共享 n-gram 嵌入以实现近乎完美的编辑成功率，在多跳推理中达到最强基线近三倍的准确率，同时保留无关知识与通用能力。

一位独立研究者分享了他的本地 AI 世界模型第二部分：一个约 960M 参数的 transformer，使用 diffusion forcing 和文本交叉注意力，在 RTX 5090 上以 30-60 FPS 运行，接受实时 WASD 操作，并支持在生成中途切换文本提示（例如"给沙漠加一个池塘"）。

一个后续项目：一个仅有 31K 参数的 encoder-only Transformer，仅使用合成 T1DM 模拟器数据训练，即可零样本预测真实 CGM 数据中的血糖水平，并通过 LoRA 微调和 ExecuTorch 部署在 Android 应用中。

LiteEMG-FM 是一种高效的混合 CNN-Transformer 基础模型，基于 16 个肌电（EMG）数据集进行预训练，可实现鲁棒的零标定手势识别。论文通过分层唤醒门机制展示了其在资源受限边缘设备上的实时部署能力，并评估了不同卸载范式下的延迟、功耗与内存开销的权衡。

Prism提出一种动态稀疏注意力框架，用于在原生2K分辨率下训练联合视频-音频生成模型。该方法通过将token序列组织为时空宏区域，并结合音频-视频跨模态信号自适应地为每个区域分配注意力块的形状，实现了相比全注意力2.5倍的训练加速，同时生成质量更优。

论文提出STCFormer，一种自适应时空Transformer，通过聚类引导注意力模块（Cluster-Guided Attention Block）在每个时间片上对气象站进行动态聚类，该模块结合了局部簇内注意力与全局区域摘要，在全部八项温度与风速预报任务中取得了最低的24小时MSE。

论文提出了一种节俭输入的深度学习框架，仅使用常规天气数据和两个静态情境变量即可进行全国作物产量预测，并在巴西大豆20个生长季的数据上对MLP、CNN、LSTM、Transformer和Mamba等模型进行了基准比较。Transformer取得了最佳精度（RMSE为149 kg ha⁻¹，rRMSE为5.3%），相比农户基线降低了47.6%的误差；SHAP诊断表明，作物年份驱动长期趋势，而天气变量则驱动年际间的波动。

NVIDIA 推出 PixelUMM，一个无需编码器的统一多模态模型，使用单个 decoder-only Transformer（以 Qwen3-8B 为骨干）直接读写原始像素，在图像和视频的理解与生成中移除了 VAEs 和 ViT 编码器。代码和模型检查点已一并发布，并附有针对 patch 伪影和 decoder 头部设计的详细消融实验。

NinaXander 提出通过单一共享隐空间适配器来组合来自不同架构族（Transformer 与 RWKV）的冻结语言模型，在不损失 RWKV 单独使用时准确率的前提下实现了 84.4% 的 KV-cache 削减；但组合后的模型仍逊于其最强的母模型，且在分布外场景下性能会下降。

该论文提出了Honeycomb——一种基于HexMemory的视频世界模型。HexMemory是一种低秩、固定尺寸的场景记忆，由六个空间与时空平面构成，在长时程视频生成过程中保持恒定的存储开销，同时在WorldScore和RealEstate10K基准上展现出优异的生成质量与重访一致性。

本文提出PolicyAttention，一种使用因果Softmax注意力的方法来实现强化学习中闭环控制的策略镜像下降，在实验中实现了比现有适应方法更低的损失。

本文研究了 Transformer 的中间残差状态如何逐渐特化为与自身最终输出状态相一致，发现在六个预训练语言模型中，即使欧氏距离几乎不变，方向对齐度和终点秩也会得到提升。文章提出了一个将范数、对齐度与终点几何结构分离的高维模型，证明了直线收敛不可能引入新的竞争者，并将残差几何与输出 token 的排序联系起来。

提出了SplitMoE，一种分裂角色稀疏架构，旨在打破Mixture-of-Experts (MoE)中的均匀性，以扩展视频扩散模型，提高收敛速度和视频生成质量。

本文介绍了T-RoPE，一种针对序列推荐系统的旋转位置嵌入的时间感知改进，展示了在基准测试上的显著性能提升以及在电子商务中的实际影响。