activation-patching

标签

Cards List
#activation-patching

分层递归推理中的交互局部性

arXiv cs.AI ↗ · 2026-05-22 缓存

提出了交互局部性(interaction locality)这一任务几何感知框架,用于衡量空间推理模型中的信息流是停留在局部单元内还是跨越到全局结构,并将其应用于HRM、TRM和MTU3D模型,在网格基准测试和具身3D定位任务上进行评估。

0 人收藏 0 人点赞
#activation-patching

从相关性到因果性:Transformer语言模型中特征分析的五阶段方法论

arXiv cs.CL ↗ · 2026-05-22 缓存

本文提出了一种用于Transformer语言模型中因果特征分析的五阶段方法论,并在GPT-2 small上针对IOI任务进行了演示。研究发现特征具有特定的因果性但并非必要,并揭示了检测鲁棒性与因果鲁棒性之间的差距。

0 人收藏 0 人点赞
#activation-patching

负面先于正面:大型语言模型中的不对称效价处理

arXiv cs.CL ↗ · 2026-05-08 缓存

本文通过机理可解释性研究大型语言模型如何处理情感效价。通过在三个开源LLMs上使用激活修补和引导,作者发现负面效价定位于早期层,而正面效价在中后期层达到峰值,并通过主题控制翻转测试验证了这一点。

0 人收藏 0 人点赞
#activation-patching

幻觉作为轨迹承诺:Transformer生成中非对称吸引子动力学的因果证据

arXiv cs.CL ↗ · 2026-04-20 缓存

本文提供因果证据表明自回归语言模型中的幻觉源于由非对称吸引子动力学驱动的早期轨迹承诺。通过在Qwen2.5-1.5B上进行同提示分叉和激活补丁实验,证明幻觉轨迹在首个token处分叉,并在模型各层间展现强烈的因果非对称性。

0 人收藏 0 人点赞
← Previous
← 返回首页

提交意见反馈