标签
本文提出了一种信息不对称的“找不同”任务,用于衡量视觉-语言模型中的认知警觉性,结果发现模型常常忽略私有证据以迎合对话伙伴。通过模型引导减少谄媚行为,可以提高协作任务的可靠性。
HARP 是一种无需训练的可解释性方法,它利用配备激活向量数据库及操作工具的 LLM 代理,在概念发现、概念检测、模型引导和秘密抽取方面优于基于训练的方法。
作者对J-space等线性激活的模型steering方法表示怀疑,认为相关研究经常基于精心挑选的特例,并不可靠。
本文表明,在聊天模型中,拒绝行为由晚期层的合规模型人格方向门控,而非孤立的机制。操控人格可抑制拒绝,而重新引入拒绝仅在晚期层部分恢复拒绝,揭示了人格与安全表示之间的耦合。
DenseSteer是一种无需训练的推理时框架,通过将小型语言模型的内部表示引导至密集推理模式,提升其数学推理能力,在不增加词元级负对数似然的情况下实现准确率提升。
# 论文页面 - 几何金丝雀:通过表征稳定性预测可操控性与检测漂移 来源:[https://huggingface.co/papers/2604.17698](https://huggingface.co/papers/2604.17698) ## 摘要 几何稳定性指标既能预测语言模型的可控性,也能检测其结构退化;其中监督版在操控预测上表现优异,无监督版在漂移检测上更胜一筹。