hidden-state-probing

标签

Cards List
#hidden-state-probing

一个可解码性准则预测在大型语言模型中隐藏状态选择何时优于多数投票

arXiv cs.AI · 6天前 缓存

本文提出CASE,一种动态选择组合器,使用可解码性准则来预测在大型语言模型中隐藏状态选择何时优于多数投票,从而提高在困难问题上的可靠性。

0 人收藏 0 人点赞
#hidden-state-probing

@omarsar0: 关于工具使用智能体的有趣可解释性论文。作者探测隐藏状态,发现模型经常识别到应调用工具,但…

X AI KOLs Following · 2026-05-16 缓存

本文提出了一个模型自适应的工具必要性定义,并发现 LLM 内部识别需要工具与实际调用工具之间存在 26% 到 54% 的不匹配,集中体现在认知到行动的转换阶段。它揭示了一个“知行差距”(knowing-doing gap),即模型通常知道应该调用工具,但由于后期层几何结构将信号旋转至几乎与行动正交,导致调用失败。

0 人收藏 0 人点赞
#hidden-state-probing

Skill-RAG:通过隐层状态探测和技能路由的故障感知检索增强

arXiv cs.CL · 2026-04-20 缓存

Skill-RAG 是一个故障感知的 RAG 框架,利用隐层状态探测和技能路由来诊断和纠正检索增强生成中的查询-证据不对齐问题。该方法检测检索失败并有选择性地应用目标技能(查询重写、问题分解、证据聚焦)以提高硬案例和分布外数据集的准确率。

0 人收藏 0 人点赞
← 返回首页

提交意见反馈