model-internals

该论文对基于 LLM 的智能体系统的自动失败归因（AFA）进行了机制研究，发现模型存在'知道但不说'的差距：内部激活包含正确归因的信息，但无法显式输出。作者据此提出 grafting 干预方法，在多个 LLM 和基准上优于直接提示方法。

本论文介绍了线性可访问性配置文件(LAP),一种使用logit lens的诊断方法,用于预测方向向量在模型各层的有效性,在5个模型的24个概念族上实现了ρ=+0.86到+0.91的相关性。该工作提供了一个系统框架来确定哪些层和概念适合用于方向干预,替代了临时性的试错方法。