标签
本文提出H-Res，一种通过塑形关联记忆的能量景观来适应大型Transformer模型的方法，无需修改权重或添加提示，保留了记忆容量，且性能优于LoRA。
一项基准研究，在三个公开数据集上对比了传统机器学习方法（随机森林、XGBoost、SVM、逻辑回归）与轻量级Transformer变体（DistilBERT、TinyBERT、MobileBERT）在设备端故障检测中的表现。传统机器学习在远小得多的资源占用下实现了有竞争力的准确率，而TinyBERT-4L是最便于部署的Transformer模型。
NeuroSonic 提出了一种条件流匹配框架，用于从脑电图信号重建连续语音。通过学习一个确定性的概率流速度场，解决了神经数据与声学数据之间的结构不匹配问题。在跨受试者基准测试中，相比现有的GAN、扩散和均值流基线，该方法在感知质量上取得了高达26.3%的提升。
SurfBind是一种面向表面的表位预测学习框架，采用基于Transformer的架构，结合分块表面建模和结合物感知的交叉注意力，在表位识别基准上达到了最先进的性能。
介绍AutoSpecNER，一个由专家标注的车辆列表细粒度命名实体识别数据集，包含659条广告，标注了15种实体类型。基准测试结果显示，DeBERTa取得了90%的微平均F1分数，优于基于规则的方法和大型语言模型。
对基于Transformer的语言模型的全面综述，涵盖架构、在医疗、金融、法律等垂直领域的应用，以及对计算成本、对齐和数据来源等权衡因素的批判性评估。
SURGeLLM 引入了一个统一的Transformer框架，包含精细化特征门控、任务条件前缀标记和实例加权归一化，以解决多任务学习中的归纳偏差不匹配、类别不平衡和词汇知识注入问题，在四个不同的NLP任务上取得了显著提升。
英伟达悄然收购了Essential AI的团队，包括Transformer论文合著者Ashish Vaswani，他此前为其初创公司融资困难。Vaswani将参与英伟达Nemotron开源模型的开发。
发布免费的研讨会录像和材料（23个视频、250张幻灯片、50个练习），帮助你从基础知识到Transformer架构构建自己的大语言模型，无需数学或机器学习基础。
深入理解 FlashAttention 的可视化讲解，涵盖内存优化和算子融合，以实现语言模型训练中的高效注意力计算。
一位开发者使用一个小型900KB的Transformer模型进行过拟合，将100MB的CSV文件压缩到7MB，展示了一种使用过拟合神经网络进行数据压缩的新颖方法。
Wan-Streamer是一个统一的端到端多模态模型，用于实时音视频交互，采用因果注意力机制，并集成处理视觉、音频和文本模态，实现了亚秒级延迟。
该推文推荐了斯坦福大学CS336课程及一系列学习资源，作为加入OpenAI的准备路径。
NVIDIA 发布了 GLM-5.2-NVFP4，这是 ZAI 的 GLM-5.2 MoE 语言模型的量化版本，使用 Model Optimizer 进行了优化，适用于 NVIDIA Blackwell GPU 上的推理。
对里程碑式论文《Attention Is All You Need》的反思，着重说明了如何通过去除循环并完全依赖注意力机制彻底改变了人工智能，并催生了像GPT和Claude这样的现代大语言模型。
一本全面的实践者指南，涵盖构建自主AI系统的整个技术栈，从基础Transformer架构到多智能体协调和生产部署等高级智能体主题。
本文介绍了Tapered Language Models (TLMs)，一种架构原则，将更多参数分配给早期层，更少分配给后期层，在不增加额外成本的情况下，持续改善多种架构的困惑度和下游性能。
SupraLabs 发布了 Supra-A2A-Nano-Exp，这是一个小型任意到任意自回归模型，将文本和图像标记化统一到单个 Transformer 中，作为教育原型而非生产就绪系统。
三天内，Transformer 论文合著者 Noam Shazeer 离开谷歌加入 OpenAI，诺贝尔奖得主、AlphaFold 负责人 John Jumper 离开谷歌 DeepMind 加入 Anthropic，标志着 AI 领域重大人才变动。