标签
作者对J-space等线性激活的模型steering方法表示怀疑,认为相关研究经常基于精心挑选的特例,并不可靠。
本文表明,在聊天模型中,拒绝行为由晚期层的合规模型人格方向门控,而非孤立的机制。操控人格可抑制拒绝,而重新引入拒绝仅在晚期层部分恢复拒绝,揭示了人格与安全表示之间的耦合。
DenseSteer是一种无需训练的推理时框架,通过将小型语言模型的内部表示引导至密集推理模式,提升其数学推理能力,在不增加词元级负对数似然的情况下实现准确率提升。
# 论文页面 - 几何金丝雀:通过表征稳定性预测可操控性与检测漂移 来源:[https://huggingface.co/papers/2604.17698](https://huggingface.co/papers/2604.17698) ## 摘要 几何稳定性指标既能预测语言模型的可控性,也能检测其结构退化;其中监督版在操控预测上表现优异,无监督版在漂移检测上更胜一筹。