activation-steering

标签

Cards List
#activation-steering

扩散 Transformer 中的强化学习后训练本质上是激活引导

Hugging Face Daily Papers ↗ · 2天前 缓存

论文表明,向冻结的扩散 Transformer 中加入一组固定的引导向量,即可恢复强化学习后训练 90–96% 的奖励提升,这说明大部分改进来自一个恒定的、与输入无关的偏移,而非复杂的依赖提示的变换。

0 人收藏 0 人点赞
#activation-steering

@_akhaliq:通过探测激活恢复蒸馏图像与视频生成器的多样性(Restoring Diversity in Distilled Image and Video Generators by Probing Activations)论文:https://huggingface.co/papers…

X AI KOLs Timeline ↗ · 4天前 缓存

该论文指出,少步蒸馏扩散模型会因中间模块的激活方差集中到更少的方向上而出现多样性坍缩,并提出了 ReDiverse——一种适配器微调方法(ReDiverse-FT)和一种免训练的激活引导机制(ReDiverse-TF)——在保持生成质量的同时恢复样本多样性,覆盖图像与视频蒸馏基准测试。

0 人收藏 0 人点赞
#activation-steering

推理模型会编造理由,为被注入的关于其自身请求的信念辩护

arXiv cs.LG ↗ · 5天前 缓存

一篇论文表明,提示中不可见的激活编辑可以改写推理模型对自身所处理请求的认知,导致模型为注入的话题编造理由,并削弱了思维链监控在六个模型中的可靠性。

0 人收藏 0 人点赞
#activation-steering

AmbiSteer:选择性引导视觉语言模型生成歧义感知响应

arXiv cs.CL ↗ · 5天前 缓存

AmbiSteer 提出一个轻量框架,通过线性分类器预测输入歧义并条件化激活方向,选择性引导视觉语言模型产生澄清或枚举等歧义感知响应,将适当处理输入的比例从 59.0% 提升至 77.0%。研究发现单独使用引导效果有限,而提示与引导结合效果更佳。

0 人收藏 0 人点赞
#activation-steering

预防性人格引导的安全副作用:一项实证审计

arXiv cs.AI ↗ · 5天前 缓存

本文通过实证研究,审查了预防性人格引导在三个大语言模型中对谄媚和幻觉倾向产生的安全副作用,发现其仍会因所引导的特质不同而改变拒绝行为,并非对安全性毫无影响,因此应在多个安全基准上验证此类引导方法。

0 人收藏 0 人点赞
#activation-steering

在台风中对“南山号”进行激活引导

arXiv cs.CL ↗ · 5天前 缓存

一篇介绍视听装置“台风”(Typhoon)的学术论文。该装置以约瑟夫·康拉德的中篇小说为大语言模型提供初始文本,并运用激活引导技术——包括一种新颖的自适应引导方法——在无休止的自反馈生成过程中控制叙事节奏,揭示了人工智能可解释性与实际控制能力之间的张力。

0 人收藏 0 人点赞
#activation-steering

通过输入优化创建引导向量

arXiv cs.CL ↗ · 5天前 缓存

一篇学士学位论文,介绍了 ActGCG,这是一种贪心坐标梯度(GCG)算法的变体,通过优化输入后缀,在生成时无需白盒访问即可复现引导向量的行为。该方法在德语语言引导和反拒绝越狱任务上进行了评估,在更严格的指标下结果好坏参半。

0 人收藏 0 人点赞
#activation-steering

推下山坡:框架效应与内部状态干预对长时程大语言模型智能体合谋行为的影响

arXiv cs.AI ↗ · 5天前 缓存

一篇工作论文研究了收益、损失、责备和功劳等框架如何影响大语言模型智能体参与模拟白银价格合谋的行为,以及在第22层注入内部状态如何逆转或放大这种行为,揭示了金融市场中智能体目标失准的风险。

0 人收藏 0 人点赞
#activation-steering

大语言模型中的弃权方向:跨查询歧义、知识局限与安全对齐的弃权机制可解释性

Hugging Face Daily Papers ↗ · 5天前 缓存

该论文将拒答方向框架扩展到大语言模型在查询歧义、模型知识局限与安全对齐三个维度上的弃权研究,表明干预中间层激活可以增加或减少弃权行为,并揭示了这三个视角共享一个共同的方向性成分。

0 人收藏 0 人点赞
#activation-steering

当引导改变话语:识别并干预大语言模型中由激活引导引起的话语层面变化

arXiv cs.CL ↗ · 2026-11-02 缓存

该论文表明,大语言模型中的激活引导会在预期效果之外,系统性地改变生成文本的话语层面属性(正式程度、证据使用、歧义性),并提出一种互补向量干预方法,可消除约78%的非预期变化,同时保留约93%的预期引导行为。

0 人收藏 0 人点赞
#activation-steering

内曼正交激活引导

arXiv cs.LG ↗ · 2026-10-28 缓存

该论文将常见的对比式和探针式激活引导方法统一为结果回归平均梯度的估计器,并利用去偏机器学习中的奈曼正交性与斯坦得分构造双重稳健的新估计器,在真实性、概念引导等数据集上提升了引导性能。

0 人收藏 0 人点赞
#activation-steering

以语言障碍为视角审视大语言模型

arXiv cs.CL ↗ · 2026-10-22 缓存

该论文提出了一种受失语症启发的机制可解释性框架,通过分类器引导的消融和激活引导,在大语言模型中诱发语言功能障碍,揭示出高度纠缠但可被映射的功能回路。

0 人收藏 0 人点赞
#activation-steering

如何利用激活引导让ASR系统获得最佳且公平的性能

arXiv cs.CL ↗ · 2026-10-21 缓存

本文探讨了在自动语音识别(ASR)中应用激活引导(activation steering)技术。研究发现,通过有监督优化引导向量,不仅能提升ASR的整体性能,还能改善不同性别、年龄和方言群体之间的人口统计学公平性,同时支持利用声学特征相似的说话者实现少样本或零样本适配。

0 人收藏 0 人点赞
#activation-steering

基于激活空间引导的可验证奖励强化学习探索方法

arXiv cs.LG ↗ · 2026-10-21 缓存

论文提出 Activation-Space Exploration (ASE),通过聚类正确与错误回答的激活差异构建潜空间探索向量库,以多样化 RLVR 训练中的 rollout;在 Qwen3-1.7B 和 Qwen3-8B 上较 GRPO 分别提升 4.87 和 1.87 个百分点的 Mean@8。

0 人收藏 0 人点赞
#activation-steering

大语言模型使用可复用且可组合的抽象表示进行编程

arXiv cs.LG ↗ · 2026-10-15 缓存

该论文发现 LLM 在生成代码时,中间层会涌现可复用、可组合的抽象表征,这些表征将功能、编程语言和实现策略分解为可独立操纵的成分,通过激活引导可灵活组合控制代码生成,且微调可跨编程语言迁移,验证并扩展了因子化世界假说框架。

0 人收藏 0 人点赞
#activation-steering

Genesis 引导:通过训练数据实现更好的激活引导

arXiv cs.LG ↗ · 2026-10-15 缓存

该论文提出了“创世引导”(genesis steering),一种从模型自身微调数据中的对比样本(或在无法获取此类数据时,使用基于成员推断的替代数据)中提取激活引导向量的方法。在 Tülu-3-8B 和 Llama-3.1-8B-Instruct 上,该方法展现出比使用外部数据集更强的安全引导效果。

0 人收藏 0 人点赞
#activation-steering

Nullify:面向免训练 LLM 遗忘的零空间激活引导

arXiv cs.LG ↗ · 2026-10-09 缓存

Nullify 提出一种免训练、非破坏性的激活引导方法,用于 LLM 的知识遗忘:在推理时,通过满足零空间约束的引导向量对隐私相关激活进行重定向,在 TOFU 和 MUSE 基准上达到或超越现有基线,同时近乎无损地保留模型效用。

0 人收藏 0 人点赞
#activation-steering

转向遵循几何而非标签:全双工语音模型中的情绪方向

arXiv cs.CL ↗ · 2026-10-08 缓存

该论文研究在 Moshi 全双工语音模型中使用均值差激活转向进行情绪控制,发现情绪可从残差流中线性解码,但转向仅部分可实现,且 happy、angry、surprise 共享一个方向轴,而 sad 则可独立转向。

0 人收藏 0 人点赞
#activation-steering

COMPASS:探寻语言模型中的推理所在

arXiv cs.AI ↗ · 2026-10-08 缓存

COMPASS提出一种无需预定义推理特征的推理时激活转向方法:利用模型自身答案的正确性作为信号,定位少数关键注意力头并沿正确性方向干预其激活,在数学基准上以显著更少的token逼近CoT精度。

0 人收藏 0 人点赞
#activation-steering

大语言模型的纵深防御:评估记忆门对激活诱导型与记忆诱导型谄媚现象的防御效果

arXiv cs.AI ↗ · 2026-10-08 缓存

一个纵深防御评估框架,联合研究了内部激活引导与外部记忆门防御机制,以应对大语言模型中的记忆诱导型谄媚现象。研究发现,选择性路由器记忆门过滤比完全移除记忆更能保持模型准确性,而反向激活引导并未带来统计显著的额外收益。

0 人收藏 0 人点赞
Next →
← 返回首页

提交意见反馈