chessformer_lens 演示：消融国际象棋 transformer 的 128 个注意力头中的一个，导致模型不再能找到 Morphy 的后牺牲 [P]

Reddit r/MachineLearning 2026/08/13 00:29 工具

chess transformer interpretability attention-heads ablation machine-learning open-source

摘要

chessformer_lens 的一个演示表明，消融国际象棋 transformer 中的一个注意力头，会导致模型停止识别 Morphy 的后牺牲，这展示了特定能力集中在单个注意力头中。

https://i.redd.it/ipz7i6ife1jh1.gif 复现用的笔记本在 GitHub 上！

查看原文

相似文章

Reddit r/MachineLearning

训练了基于Transformer的国际象棋模型，覆盖从800到2500+的等级分区间，能预测着法、思考时间和结果。仅用9M参数即达到较高准确率，并包含一个新颖的思考时间预测组件。

arXiv cs.AI

本文表明，满足机制角色声明常见标准（必要性、线性可解码性、消融可逆性）的注意力头，在跨提示词转移计算时常常失败，并引入了KID（Knowing/Intent/Doing）框架和一个三阶段流水线，用于更严格的角色分配。

Hacker News Top

本文讨论了Transformer注意力机制中执行控制的不足，强调了Transformer在处理序列依赖关系方面的局限性。

X AI KOLs Timeline

一条推文重点介绍了一篇由Michel Fabrice Serret撰写的arXiv论文，该论文从应用数学的角度介绍了Transformer和注意力机制，涵盖了向量化、多头注意力以及降低注意力成本的方法，如KV缓存和Latent Attention。

arXiv cs.LG

本文提出了一项对照研究，比较了仅注意力Transformer（简单注意力网络，SANs）与在参数、计算量和深度上匹配的标准Transformer。研究发现，当将释放的容量重新分配给注意力深度时，移除前馈层在很大程度上缩小了性能差距，剩余差距归因于参数回忆。