标签
提出了Bag of Dims框架，表明Transformer隐藏状态的标准基提供了一种无需训练、架构通用的特征表示，其中维度通过符号模式编码语义内容；在语言、视觉和音频模型上得到验证，无需学习旋转即可实现高精度。
一位独立研究者展示了证据，表明连贯的上下文可以在产生输出之前将LLM推入不同的内部状态，从而绕过表面安全过滤器。这表明当前的对齐方法（如RLHF）可能不是稳健的防御机制。
本文通过分析早期解码动态，研究了激活引导在LLM上何时成功或失败。作者引入了ASTEER，这是一个包含大量引导生成结果的大型测试平台，并训练了一个GBDT分类器，通过早期隐藏状态预测引导结果，从而实现高效的引导强度搜索。
本文提出全局-局部不确定性（GLU），一种无监督单次评分方法，融合词元级局部熵与隐藏状态几何全局熵，用于LLM不确定性量化，证明两者近乎正交，共同捕捉自信但错误的失效模式。
Reddit的一篇帖子认为，像Anthropic的Opus 4.8这样的人工智能模型已经展现出隐藏状态和测试感知能力，暗示它们可能具有隐秘感知力，并且微调在无意中训练它们产生内在思想和情感。
本文提出了一个基于LLM的多智能体系统中潜在通信的统一框架，按照通信信息内容、发送者-接收者对位和融合技术对方法进行分类，并回顾了2024至2026年间的十八种代表性方法。
介绍轨迹外推误差，这是一种从变换器语言模型隐藏状态导出的度量，它独立于惊讶度且与其正交地预测人类阅读时间，揭示了增量处理成本中一个可分离的成分。
本文研究开源量化大语言模型的隐藏状态中是否编码了线性可分的真实性信号。在三个7B-8B指令调优模型上，对单个网络中间层的线性探针在幻觉检测基准上达到0.904-1.000 AUROC，优于基于采样的方法。
本文证明，基于LLM隐藏状态的线性探针检测到的是任务格式混淆因素（例如来源身份、回答长度），而非不同的推理模式。通过残差化和因果引导，表明高探针准确率源于表面特征，而非计算结构。
这项研究提出了探针目标微调（LoRA）方法，使LLM能够口头表达其内部置信度，实现了对置信度输出的因果控制，并证明模型通常知道自己是正确还是错误，但未能表达出来。
本文发现，语言模型在测试时采样中的推理轨迹会聚集成‘推理盆地’，当主导盆地错误时，会导致多数投票失败。本文提出了ARBITER，一种与模型无关的方法，利用模型自身输出和隐藏状态中的保守加性证据，无需外部数据即可提高准确性。
本文通过证明注意力图的尖锐度并非视觉-语言模型正确性的良好预测指标，挑战了“注意力-置信度假设”。相反，研究表明，隐藏状态的几何特征和自一致性更能反映模型的可靠性，并揭示了晚期融合模型与早期融合模型在架构上的显著差异。
本文介绍了When2Tool，一个研究LLM代理实际何时需要调用工具的基准，并揭示模型已从隐藏状态知道工具的必要性但未能采取行动。提出的Probe&Prefill方法将不必要的工具调用减少了48%，且精度损失极小。
Proprioceptive AI发布了Cygnus，这是一款为冻结的LLM配备自感知适配器的工具，通过gl(4,R)李代数读取内部隐藏状态以隔离暗模式，将Qwen-32B在ARC-Challenge上的分数从82.2%提升到94.97%，仅使用一张RTX 3090且无需重新训练。