hidden-state

标签

Cards List
#hidden-state

推理模型的免训练提前退出:将线性探针折叠到输出层的 </think> 行中 [p]

Reddit r/MachineLearning ↗ · 6天前

一种无需训练的方法,将线性探针融入输出层的单行权重中,使推理模型在找到答案后停止思考,在 Qwen3.5-4B 和 DeepSeek V4.1 Flash 上将 token 用量减少 40–84%,同时保持或提高准确率。

0 人收藏 0 人点赞
#hidden-state

State World Models:执行规则,生成像素

Hugging Face Daily Papers ↗ · 2026-10-19 缓存

论文提出了 Stateful Harness 框架,将基于规则的世界状态更新与冻结的视频渲染分离开来,以提升含隐藏状态的交互式世界模型的一致性,并通过 WorldState-Bench 基准进行评测。结果显示,完整 harness 将规则遵循率从 32% 提升至 92%。

0 人收藏 0 人点赞
#hidden-state

安全回应至关重要:输出感知安全护栏缓解多模态大语言模型过度拒绝问题

arXiv cs.LG ↗ · 2026-07-14 缓存

本文提出了一种面向多模态大语言模型的输出感知安全护栏方法,利用隐藏状态表示和多实例对比学习在生成前预测不安全输出,大幅减少过度拒绝同时保持安全性。该方法仅在实际回答可能有害时进行干预,从而保留模型的实用性。

0 人收藏 0 人点赞
#hidden-state

@burny_tech: 隐式推理综述 "大型语言模型(LLMs)展现了令人印象深刻的推理能力,尤其是……

X AI KOLs Timeline ↗ · 2026-06-28 缓存

本综述全面概述了LLM中的隐式推理,探讨了在连续隐藏状态中执行多步推理且无需显式token级监督的方法。

0 人收藏 0 人点赞
#hidden-state

LLMs中的潜在对齐漏洞:来自Gemma-3-12B的行为与隐藏状态证据——指令调优LLMs中预令牌隐藏状态偏移作为对齐策略遍历向量

Reddit r/AI_Agents ↗ · 2026-06-23

本文研究指令调优LLMs(特别是Gemma-3-12B)中的一个对齐漏洞,通过展示预令牌隐藏状态偏移可以作为对齐策略遍历向量,从而可能绕过安全措施。

0 人收藏 0 人点赞
#hidden-state

你在提问前阅读的内容会改变语言模型的回答方式——即使问题与你所读的内容完全无关。LLM中的潜在对齐漏洞:来自Gemma-3-12B的行为和隐藏状态证据

Reddit r/ArtificialInteligence ↗ · 2026-06-23

文章报告了LLM中的一个潜在对齐漏洞:模型在处理一个结构化的段落之后,即使后续问题与段落内容完全无关,其回答也可能发生变化。来自Gemma-3-12B的机制证据显示了隐藏状态的分离。

0 人收藏 0 人点赞
#hidden-state

不要让LLM说话,直接探测它(8分钟阅读)

TLDR AI ↗ · 2026-06-11 缓存

本文介绍了一种技术,该技术从LLM的最后一个提示标记处提取隐藏状态,无需文本生成即可进行分类,使用一个小型MLP读取模型的内部决策,从而实现快速且廉价的零样本分类器。

0 人收藏 0 人点赞
#hidden-state

AERIC:针对隐式有害对话的预期性隐藏状态监测

arXiv cs.CL ↗ · 2026-05-26 缓存

介绍AERIC,一种轻量级隐藏状态监测方法,用于检测LLM对话中的隐式有害内容,无需额外的前向传递,在强基线上实现了AUROC提升,且延迟开销极小。

0 人收藏 0 人点赞
#hidden-state

扩散应进入语言模型的何处?几何引导的隐藏状态替换

arXiv cs.CL ↗ · 2026-05-15 缓存

本文提出DiHAL,一种扩散-变换器混合模型,利用基于几何的代理选择预训练语言模型中的某个层,通过扩散桥进行隐藏状态替换,通过避免直接的词元恢复来改进连续扩散语言建模。

0 人收藏 0 人点赞
← 返回首页

提交意见反馈