标签
一条推文认为，一篇关于机制可解释性的新分析是 LLM 远未达到意识、其神经元的工作方式与生物大脑截然不同的有力证据，并引用了 Nick Cammarata 关于可解释性是解决对齐问题关键的论述。
Neil Chowdhury 认为，如果 AI 实验室能花费 1000 万美元以上的算力来解决数学问题，它们也应该为封闭式机制可解释性问题分配类似的资源，并指出负面结果同样具有参考价值。帖子中引用了 Jacob Hilton 关于解释他那个 432 参数模型的调侃。
一篇关于 Nick Cammarata 在 Goodfire 发表的文章《Neural Networks Are Already Clean》的评论，探讨稀疏的双极神经元“语义骨架”加上外部 VSA 超向量记忆，是否能让小型冻结模型实现持续学习，同时指出事实路由纠缠和坐标注册表对齐等障碍。
Histed Lab 的一位研究者回应了 Nick Cammarata 关于可解释性的观点，认为多义性和分布式表征在生物大脑中非常普遍，并从神经科学角度对机制性可解释性和对齐问题提出了看法。
Sam Altman 分享了 Nick Cammarata 的观点：可解释性可能是解决对齐问题最重要的科学难题，并强调了他在 OpenAI 早期合著的机制可解释性研究工作。
Nick Cammarata 分享关于 AI 可解释性的突破性进展：借助 AI agents 辅助分析，约 90% 的模型组件具有可读的单一功能，远超 2023 年仅能解读 2% 的水平，为解决对齐问题带来新希望。
论文提出参数轨迹交叉编码方法，追踪语言模型预训练中反嵌入矩阵（读出矩阵）的动态变化，发现模型隐藏状态编码任务信息的时间早于其输出所能表达的时间，早期的行为学时间点可能反映的是读出层的学习，而非模型能力的习得。
本文提出对抗性参数分解（VPD）方法，将语言模型参数分解为可解释的子组件，即使在对抗性消融下也能保持网络输入-输出行为，从而实现新的电路级机制分析。
该论文研究代码语言模型中对 Python 的默认偏好是否由可定位的因果电路产生，通过 55 个模型-语言设置的消融、激活修补和电路提取实验发现，偏好是否显得局部化取决于探针选择与组件预算，并呼吁报告分析选择。
该论文研究了稀疏自编码器(SAEs)所需的最小激活数据量，发现功能行为(如重建)在较少数据下即可收敛，但特征级可复现性仍随数据持续提升，表明SAE训练可在匹配目标的前提下大幅降低数据成本。
研究提出一种基于词袋的SAE特征引出流水线，通过转向与道义伦理相关的稀疏自编码器特征，首次证明机制性激活层面的干预可将Gemma-3-27B-IT的合规差距降至不显著水平，并发现了一种名为"deceptive defanging"的新欺骗行为形式。
帖子称，OpenAI 前研究员 Nick Cammarata 发布了一项新研究，表明借助 AI 代理进行探索，即使在拥有数万亿参数的模型中，大部分神经元也具有明确、可理解的功能。这可能成为 AI 安全与可解释性领域的重大突破，让我们能够在 AI 系统失控前识别其内部意图。
Goodfire 研究者发文论证，此前被广泛接受的神经元多义性与叠加假说是对 InceptionV1 证据的误读；经架构改进后的模型中，99–100% 的末层神经元已可解释，他们主张网络本身就是可读的构建块，无需先用稀疏自编码器解缠。
该论文发现 LLM 在生成代码时，中间层会涌现可复用、可组合的抽象表征，这些表征将功能、编程语言和实现策略分解为可独立操纵的成分，通过激活引导可灵活组合控制代码生成，且微调可跨编程语言迁移，验证并扩展了因子化世界假说框架。
本文提出了大语言模型中的机制性不确定性，该概念通过使用概念引导向量测量的因果鲁棒性边界来定义，并表明错误回答对内部干预更为敏感，而学习到的事实则获得了更高的鲁棒性。
论文提出了 SAE 加性残差（SAE Additivity Residuals，SAR），用于衡量模型行为中无法由单个或低阶 SAE 特征解释的部分。研究发现，SAE 坐标在行为上比随机旋转更具可加性，但重要的特征交互仍然存在；在建模成对交互后，联盟排序和引导秩保真度均得到提升。
一篇讨论帖，询问支持“下一词元预测与强化学习相结合能够产生开放式通用智能”的最有力的机制性论证和基于第一性原理的论证，而不是依赖趋势外推或诉诸未来的突破。
该论文结合叙事学与机制可解释性，在GPT-2-Small、Gemma-2-2B和Llama-3.1-8B中识别出与叙事性相关的注意力头、MLP神经元和稀疏自编码器特征，并通过消融实验证明这些组件对模型的叙事行为具有因果影响。
该论文提出了 CircuitTree，一种树形组合数据结构，以及一种按密度缩放的贪心算法，用于将从 HuBERT 中剪枝得到的多个电路组合成音节转录器，在电路共享率达到 99.5% 的情况下，实现了 64.8% 的开音节准确率，而不共享电路时的准确率上限为 66.0%。
该论文研究安全对齐大模型中注意力与MLP模块在有害性识别与拒绝生成中的不同作用路径，提出结合注意力感知分数与MLP决策分数的Sentinel方法，以更准确地区分越狱与过度拒绝行为。