hidden-states

标签

Cards List
#hidden-states

探测与引导在语言模型内部及跨模型时是否偏向相同的方向?

Hugging Face Daily Papers ↗ · 2026-11-14 缓存

该论文表明,在语言模型的隐藏状态中,最能探测某个概念的方向,并不是最能引导模型朝向该概念的方向;这一结论在不同模型家族、层和概念中均成立。论文还展示了探针与引导向量在迁移行为上的差异,以及在 PopQA 上的拒答应用。

0 人收藏 0 人点赞
#hidden-states

基于低秩多线性分解的大语言模型幻觉检测

arXiv cs.CL ↗ · 2026-10-28 缓存

提出LOTUS框架,通过低秩多线性分解从LLM隐藏状态中提取紧凑表示以检测幻觉,在多个LLM和问答基准上超越现有最先进方法。

0 人收藏 0 人点赞
#hidden-states

大语言模型响应中的错误检测:隐藏状态的增量预测价值

arXiv cs.CL ↗ · 2026-10-21 缓存

该论文研究在已有输出侧信号的基础上,加入 LLM 隐藏状态对错误检测的增量预测价值,发现其在开放生成和多选任务上分别带来约 0.004 和 0.039 的 AUROC 提升,表明隐藏状态含有额外信息但增益有限。

0 人收藏 0 人点赞
#hidden-states

共享符号而非向量:跨语言模型的免训练事实通信

Hugging Face Daily Papers ↗ · 2026-10-14 缓存

本文提出 SYNC(Symbol-Indexed Neural Communication,符号索引式神经通信)——一种免训练、基于词索引的接口,允许异构语言模型通过词索引和接收方本地隐藏状态方向共享选择性物体事实,在来自五个模型家族的九个接收方上实现了较高的四答案成功率。

0 人收藏 0 人点赞
#hidden-states

驾驭激活浪潮:分析大语言模型隐藏状态的信息与几何结构以实现推测解码

arXiv cs.CL ↗ · 2026-10-12 缓存

本文提出了一个基于理论的框架,用于在推测解码中选择解码器隐状态层,利用矩阵熵分析衡量信息量,并利用中心化核对齐(CKA)衡量多样性,在 EAGLE3 风格的推测解码中优于固定启发式方法。

0 人收藏 0 人点赞
#hidden-states

乘上激活波浪:分析大语言模型隐藏态的信息与几何用于推测解码

Hugging Face Daily Papers ↗ · 2026-10-09 缓存

该论文提出一个基于信息量(矩阵熵)与多样性(CKA)的多层隐藏态选择框架,用于改进EAGLE3风格的推测解码,超越了固定的基于位置的层选择启发式方法。

0 人收藏 0 人点赞
#hidden-states

Latent-MOPD:隐空间多教师同策略蒸馏

arXiv cs.LG ↗ · 2026-10-05 缓存

论文提出了 Latent-MOPD,这是首个面向大语言模型的表示层面多教师同策略蒸馏方法,无需额外的教师训练,即可同时通过输出分布和隐藏状态整合多个专业教师模型;在涵盖数学、代码和逻辑推理的九个基准测试中,其表现优于仅基于 token、仅基于表示以及平均融合等基线方法。

0 人收藏 0 人点赞
#hidden-states

将推理路径重构为相位结构化的轨迹

arXiv cs.AI ↗ · 2026-09-30 缓存

该论文提出了 PAIR(Phase-Aligned Intra-question Reasoning,相位对齐的题内推理),将 LLM 的推理路径视为相位结构化的轨迹,并且只在同一道问题内部评估路径质量。研究发现,标准的正确性探测在一定程度上依赖于题目层面的差异,而逐相位的引导能够提供关于路径质量方向的因果证据。

0 人收藏 0 人点赞
#hidden-states

@rohanpaul_ai: 你可以预测LLM的内部状态走向,并且有针对性的编辑可以将其拉回正轨。在冻结的……

X AI KOLs Following ↗ · 2026-09-29 缓存

研究表明,从LLM隐藏状态中提取的一小组内部坐标可以预测未来状态并实现有针对性的编辑,与基线相比,预测误差降低了69-76%。

0 人收藏 0 人点赞
#hidden-states

真实性信号在语码混合中是否持续有效?探究Hinglish幻觉检测的隐藏状态

arXiv cs.CL ↗ · 2026-09-22 缓存

本研究探究了基于单语数据训练的幻觉检测探针在Hinglish上的迁移效果,结果显示检测性能稳健,且Hindi和Hinglish中的幻觉率高于英语。

0 人收藏 0 人点赞
#hidden-states

Bypass Observation: 一种非侵入式层级语义提取架构的概念设计

arXiv cs.AI ↗ · 2026-09-15 缓存

本文提出Bypass Observation,一种非侵入式架构,用于从大型语言模型中提取中间语义信息,以提高可解释性和安全审计。

0 人收藏 0 人点赞
#hidden-states

ForeSight: 通过早期安全信号蒸馏增强风险监控

arXiv cs.CL ↗ · 2026-09-15 缓存

ForeSight是一个框架,通过分析第一个令牌的隐藏状态来预测大型语言模型的有害输出,提高早期风险监控效率。

0 人收藏 0 人点赞
#hidden-states

基于参考的LLM隐藏状态相对表示偏差检测

Hugging Face Daily Papers ↗ · 2026-09-09 缓存

本文提出了一种基于参考的隐藏状态审计方法,以最小计算量检测LLM中的偏差偏移,显示与基准测试中输出级偏差变化的高相关性。

0 人收藏 0 人点赞
#hidden-states

在诊断CI故障时,AI代理应该跟踪哪些隐藏状态?

Reddit r/AI_Agents ↗ · 2026-08-14

本文讨论了AI代理在诊断CI故障时应跟踪的隐藏状态,如不稳定的测试、实际错误和配置错误,并征求关于弱点和缺失状态的反馈。

0 人收藏 0 人点赞
#hidden-states

大规模解读语言模型隐藏状态

arXiv cs.AI ↗ · 2026-08-12 缓存

OmniLens是一种可扩展的透镜方法,用于解读LLM隐藏状态,通过低秩转换器和Subset-KL减少参数与内存,使得在LLaMA-3.3-70B上能够以显著更低的成本构建包含482个透镜的密集集成。

0 人收藏 0 人点赞
#hidden-states

不确定但确信:揭示扩散语言模型中的表征-置信度差距

arXiv cs.CL ↗ · 2026-08-11 缓存

本文识别出扩散语言模型中的“表征置信度差距”:内部状态能准确检测输入噪声,但报告的置信度在高噪声下仍保持高位,答案排序能力下降。本文引入了一种轻量级、无需训练的信息提取工具,利用隐藏状态改进排序,而无需修改基础模型。

0 人收藏 0 人点赞
#hidden-states

提示嵌入探针(PEP):从隐藏状态检测大语言模型幻觉

arXiv cs.CL ↗ · 2026-08-11 缓存

本文介绍了提示嵌入探针(PEP),一种参数高效的线性探针扩展方法,利用隐藏状态上的可学习提示嵌入来检测冻结的大语言模型中的幻觉。在 TriviaQA、GSM8K 和 MedQA 上使用 Qwen3 模型的评估显示,相比标准线性探针,该方法在预生成和跨模型设置中均有改进。

0 人收藏 0 人点赞
#hidden-states

Right Reset:通过前缀移除进行分块

arXiv cs.CL ↗ · 2026-08-06 缓存

本文介绍了Right Reset (RR),一种基于前缀移除的探测方法,通过因果语言模型的隐藏状态保持来识别扁平化文本中的分块边界,恢复了47.7%的原始记录,而BGE基线为25.9%。

0 人收藏 0 人点赞
#hidden-states

参数生成至关重要:面向LLM工具调用的难度分级基准与探针引导训练

arXiv cs.AI ↗ · 2026-08-05 缓存

本文提出ParamBench,一个面向LLM工具调用参数生成的难度分级基准,并提出了探针引导训练方法(PBT和PGR),将精确匹配准确率从19.7%提升至59.6%。

0 人收藏 0 人点赞
#hidden-states

转向信号的来源:激活转向中的激活源选择

arXiv cs.CL ↗ · 2026-07-29 缓存

本文研究了源激活的选择如何影响语言模型中的激活转向,发现执行边界状态(模型即将产生目标行为的状态)能产生更强的信号,并引入了尾部减法来提高转向稳定性。

0 人收藏 0 人点赞
Next →
← 返回首页

提交意见反馈