activation-patching

标签

Cards List
#activation-patching

什么在蒸馏后得以保留?一项关于 GPT-2 与 DistilGPT-2 的机制可解释性研究

arXiv cs.CL ↗ · 2026-10-28 缓存

本文运用机制可解释性工具——包括线性 CKA、logit lens、注意力分解、稀疏自编码器和激活修补(activation patching)——对 GPT-2 与 DistilGPT-2 进行对比分析,揭示了一种压缩-坍缩二分现象:IOI 电路完全坍缩,而 Greater-Than 电路则通过层重映射得以保留。

0 人收藏 0 人点赞
#activation-patching

语言模型保留已放弃的解析:花园路径句后的残留与适应

arXiv cs.CL ↗ · 2026-10-28 缓存

该论文研究语言模型在处理花园路径句后是否会保留被放弃的句法分析残余,发现残余效应主要储存在名词短语的状态中,并可通过激活修补(activation patching)在32B和70B模型中近乎完全消除该残余。

0 人收藏 0 人点赞
#activation-patching

通过少量精确测量修正归因补丁的偏差

arXiv cs.AI ↗ · 2026-10-21 缓存

论文提出了 Guided-AP 方法,利用少量精确的激活补丁测量来揭示并修正归因补丁估计中的共享误差,在机制可解释性分析中,单提示的误差最多降低 26%,跨提示平均效应的误差降低 75-79%。

0 人收藏 0 人点赞
#activation-patching

情绪并非外部知识:用于情感状态推理的内部注意力信号

arXiv cs.CL ↗ · 2026-10-16 缓存

提出了自目标内部注意力增强(SIAB)方法,通过因果定位与激活修补,在模型内部定位稀疏的情感注意力头,并增强其内容词注意力路由,从而在不依赖外部知识或参数更新的情况下,提升大语言模型在多轮对话中的情感状态推理能力,并在ECC和GoEmotions基准上显著提高宏平均F1分数。

0 人收藏 0 人点赞
#activation-patching

代码语言模型中的因果句法回路:预算与探针决定何种现象看起来具有局部性

arXiv cs.LG ↗ · 2026-10-16 缓存

该论文研究代码语言模型中对 Python 的默认偏好是否由可定位的因果电路产生,通过 55 个模型-语言设置的消融、激活修补和电路提取实验发现,偏好是否显得局部化取决于探针选择与组件预算,并呼吁报告分析选择。

0 人收藏 0 人点赞
#activation-patching

冻结BERT模型中AI文本检测神经元的机制研究:RAID基准测试上的稀疏探测与激活补丁技术

arXiv cs.CL ↗ · 2026-09-28 缓存

本文研究了冻结BERT中驱动AI文本检测的神经元,通过在RAID基准测试上应用稀疏探测和激活补丁技术,识别出一小部分因果相关的神经元,这些神经元在不同生成器家族间具有泛化性。

0 人收藏 0 人点赞
#activation-patching

陈述的推理步骤在因果上是否关键?

arXiv cs.AI ↗ · 2026-09-24 缓存

本文使用激活补丁因果测量思维链中的推理步骤是否关键,发现行为测试高估了忠实性,而更大的模型如Qwen3-4B在不同推理深度上保持更好的忠实性。

0 人收藏 0 人点赞
#activation-patching

深入VLM图表阅读:从空间与深度追踪垂直条形图中的数值读取

arXiv cs.CL ↗ · 2026-09-15 缓存

本文研究了视觉语言模型如何通过控制反事实激活修补技术从垂直条形图中读取精确数值,揭示了内部计算机制以及Qwen和InternVL等模型之间的差异。

0 人收藏 0 人点赞
#activation-patching

LLaMA 3.1 8B中结构感知数值推理的机制可解释性

arXiv cs.LG ↗ · 2026-08-20 缓存

本文采用机制可解释性方法分析LLaMA 3.1 8B如何建模数值序列,揭示其内部计算并存储一阶差分以进行模式外推。

0 人收藏 0 人点赞
#activation-patching

共享电路与共享语法:跨语言的主谓一致追踪

arXiv cs.CL ↗ · 2026-08-20 缓存

本研究探讨了多语言大型语言模型如何在内部处理跨语言的主谓一致,发现模型为具有显性屈折变化的语言重用共享的计算结构,表明在形态句法处理中存在跨语言重叠。

0 人收藏 0 人点赞
#activation-patching

LLMs 知道约束却未使用它:语用约束推理中的激活瓶颈

arXiv cs.CL ↗ · 2026-08-14 缓存

本文认为,LLM 在隐藏约束推理上的失败是路由问题,而非知识问题,并引入了一种四重诊断法,在 14 个模型上将知识、对称性、路由和修复分离开来,同时进行了激活探测和激活修补实验。

0 人收藏 0 人点赞
#activation-patching

测试,然后路由:语言模型如何跨模型和语言执行上下文中的条件规则

arXiv cs.CL ↗ · 2026-08-06 缓存

本文通过探测测试和路由是否是可分离的机制,研究语言模型如何执行上下文中的条件规则。利用跨三个开放模型和六种语言的激活修补,作者发现谓词测试是模块化的,而路由表示则受令牌绑定且不可迁移。

0 人收藏 0 人点赞
#activation-patching

可视化材料科学假设生成中的图到答案机制恢复

arXiv cs.CL ↗ · 2026-08-06 缓存

本文介绍了Graph-PRefLexOR-8B的图到答案机制追踪案例研究,该模型是一个材料科学假设生成模型,利用可视化和基于激活的诊断方法,定位生成过程中机制支持在何处丢失或恢复。

0 人收藏 0 人点赞
#activation-patching

证据类型竞争:干预数据何时能教会语言模型因果方向?

arXiv cs.CL ↗ · 2026-08-03 缓存

本文在受控的辛普森悖论世界中测试了预训练中增加干预数据是否能提升大语言模型的因果方向推理能力。研究发现,训练混合比例并不决定干预证据的使用,相反,推理时上下文中的证据类型才是决定性因素。

0 人收藏 0 人点赞
#activation-patching

反应式计算图的成本核算:穷举扫描、顺序变异与反向局部性差距

arXiv cs.LG ↗ · 2026-07-22 缓存

本文提出了对反应式计算图进行穷举扫描和顺序变异的理论成本核算,推导出加速比,并在基于Julia的图引擎上进行了验证。

0 人收藏 0 人点赞
#activation-patching

算术启发神经元是否具有形式不变性?对LLMs中符号、文本和代码的机制分析

arXiv cs.CL ↗ · 2026-07-21 缓存

本文研究了LLM中的算术启发神经元在符号算术、自然语言文字题和Python代码中是否具有形式不变性。通过激活修补,他们发现了一个共享的神经元回路,该回路对于算术计算是必要且充分的,并且跨格式失败源于激活状态而非不同的回路。

0 人收藏 0 人点赞
#activation-patching

视觉默认、先验覆盖:视觉-语言模型中感知-知识冲突的因果机制

arXiv cs.CL ↗ · 2026-06-29 缓存

本文研究视觉-语言模型如何解决视觉证据与世界知识之间的冲突,揭示了视觉基础是默认的,而先验知识依赖于一小部分位于后层的注意力头。作者在三个VLM系列上进行因果分析,展示了一种不对称结构:消融这些头部会使得预测从基于知识的答案转向基于视觉的答案。

0 人收藏 0 人点赞
#activation-patching

多重中介者的诅咒:激活修补中的隐藏交互效应

arXiv cs.LG ↗ · 2026-06-29 缓存

本文从因果中介分析重新推导激活修补,揭示自然间接效应(NIE)不仅捕捉组件的因果效应,还捕捉与其他组件的交互效应。文章在GPT-2 IOI电路中展示了这些隐藏交互,并论证它们是一种诊断工具而非干扰。

0 人收藏 0 人点赞
#activation-patching

Vernier: 探究因果推理中词汇缺口背后的表征错位

arXiv cs.CL ↗ · 2026-06-16 缓存

本文探究了为何指令调优的语言模型在将变量名替换为占位符后,对因果推理问题给出不同答案,发现问题源于表征错位而非信息丢失。作者引入了Vernier方法,通过配对视图权重更新和机制检查,揭示出答案相关内容在占位符视图中仍然存在但错位。

0 人收藏 0 人点赞
#activation-patching

通过激活修补测量大语言模型遗忘深度

arXiv cs.CL ↗ · 2026-05-26 缓存

论文提出了遗忘深度评分(UDS),这是一种利用激活修补来量化目标知识从大语言模型中被彻底擦除程度的指标,在多种遗忘方法上实现了最先进的忠实度和鲁棒性。

0 人收藏 0 人点赞
Next →
← 返回首页

提交意见反馈