标签
本文提出了一种简单的流水线，利用 LLM 自动将特征分组为归因图中的超节点，达到了与人类标注者相当的可解释性，并在一个两跳任务中恢复了中间跳的超节点。
circuit-tracer 是一个 Python 库，帮助可解释性研究人员通过计算 transcoder 特征与输出 logits 之间的直接效应来映射模型计算，然后将它们可视化为交互式归因图。
一篇总结 Anthropic 2025 年关于机制可解释性论文的文章，表明 LLM 并非黑箱，电路追踪可以揭示多步推理和人类可识别的概念。
本文探讨了检索增强生成（RAG）系统即使在获取到正确证据的情况下仍然失败的原因。通过电路追踪和归因图，作者发现正确的预测展现出更深的推理路径和更分散的证据流，而失败则表现为浅层、碎片化的模式。他们提出了一个基于图的错误检测框架和有针对性的干预措施，以提高RAG的可靠性。