标签
该论文表明,在语言模型的隐藏状态中,最能探测某个概念的方向,并不是最能引导模型朝向该概念的方向;这一结论在不同模型家族、层和概念中均成立。论文还展示了探针与引导向量在迁移行为上的差异,以及在 PopQA 上的拒答应用。
提出LOTUS框架,通过低秩多线性分解从LLM隐藏状态中提取紧凑表示以检测幻觉,在多个LLM和问答基准上超越现有最先进方法。
该论文研究在已有输出侧信号的基础上,加入 LLM 隐藏状态对错误检测的增量预测价值,发现其在开放生成和多选任务上分别带来约 0.004 和 0.039 的 AUROC 提升,表明隐藏状态含有额外信息但增益有限。
本文提出 SYNC(Symbol-Indexed Neural Communication,符号索引式神经通信)——一种免训练、基于词索引的接口,允许异构语言模型通过词索引和接收方本地隐藏状态方向共享选择性物体事实,在来自五个模型家族的九个接收方上实现了较高的四答案成功率。
本文提出了一个基于理论的框架,用于在推测解码中选择解码器隐状态层,利用矩阵熵分析衡量信息量,并利用中心化核对齐(CKA)衡量多样性,在 EAGLE3 风格的推测解码中优于固定启发式方法。
该论文提出一个基于信息量(矩阵熵)与多样性(CKA)的多层隐藏态选择框架,用于改进EAGLE3风格的推测解码,超越了固定的基于位置的层选择启发式方法。
论文提出了 Latent-MOPD,这是首个面向大语言模型的表示层面多教师同策略蒸馏方法,无需额外的教师训练,即可同时通过输出分布和隐藏状态整合多个专业教师模型;在涵盖数学、代码和逻辑推理的九个基准测试中,其表现优于仅基于 token、仅基于表示以及平均融合等基线方法。
该论文提出了 PAIR(Phase-Aligned Intra-question Reasoning,相位对齐的题内推理),将 LLM 的推理路径视为相位结构化的轨迹,并且只在同一道问题内部评估路径质量。研究发现,标准的正确性探测在一定程度上依赖于题目层面的差异,而逐相位的引导能够提供关于路径质量方向的因果证据。
研究表明,从LLM隐藏状态中提取的一小组内部坐标可以预测未来状态并实现有针对性的编辑,与基线相比,预测误差降低了69-76%。
本研究探究了基于单语数据训练的幻觉检测探针在Hinglish上的迁移效果,结果显示检测性能稳健,且Hindi和Hinglish中的幻觉率高于英语。
本文提出Bypass Observation,一种非侵入式架构,用于从大型语言模型中提取中间语义信息,以提高可解释性和安全审计。
ForeSight是一个框架,通过分析第一个令牌的隐藏状态来预测大型语言模型的有害输出,提高早期风险监控效率。
本文提出了一种基于参考的隐藏状态审计方法,以最小计算量检测LLM中的偏差偏移,显示与基准测试中输出级偏差变化的高相关性。
本文讨论了AI代理在诊断CI故障时应跟踪的隐藏状态,如不稳定的测试、实际错误和配置错误,并征求关于弱点和缺失状态的反馈。
OmniLens是一种可扩展的透镜方法,用于解读LLM隐藏状态,通过低秩转换器和Subset-KL减少参数与内存,使得在LLaMA-3.3-70B上能够以显著更低的成本构建包含482个透镜的密集集成。
本文识别出扩散语言模型中的“表征置信度差距”:内部状态能准确检测输入噪声,但报告的置信度在高噪声下仍保持高位,答案排序能力下降。本文引入了一种轻量级、无需训练的信息提取工具,利用隐藏状态改进排序,而无需修改基础模型。
本文介绍了提示嵌入探针(PEP),一种参数高效的线性探针扩展方法,利用隐藏状态上的可学习提示嵌入来检测冻结的大语言模型中的幻觉。在 TriviaQA、GSM8K 和 MedQA 上使用 Qwen3 模型的评估显示,相比标准线性探针,该方法在预生成和跨模型设置中均有改进。
本文介绍了Right Reset (RR),一种基于前缀移除的探测方法,通过因果语言模型的隐藏状态保持来识别扁平化文本中的分块边界,恢复了47.7%的原始记录,而BGE基线为25.9%。
本文提出ParamBench,一个面向LLM工具调用参数生成的难度分级基准,并提出了探针引导训练方法(PBT和PGR),将精确匹配准确率从19.7%提升至59.6%。
本文研究了源激活的选择如何影响语言模型中的激活转向,发现执行边界状态(模型即将产生目标行为的状态)能产生更强的信号,并引入了尾部减法来提高转向稳定性。