hidden-state-trajectories

标签

Cards List
#hidden-state-trajectories

语义步骤预测:通过步骤采样实现LLM推理轨迹中的多步潜在预测

Reddit r/LocalLLaMA · 2026-05-31 缓存

本文介绍了语义步骤预测,该方法在推理步骤边界而非随机令牌位置上应用几何正则化,在ProcessBench上相比固定基线实现了168倍的多步潜在预测提升。

0 人收藏 0 人点赞
#hidden-state-trajectories

最后一个Token之前:诊断最终Token安全探针的故障

arXiv cs.LG · 2026-05-14 缓存

本文研究了最终Token安全探针在越狱提示上的失败,发现有害内容可以分布在较早的Token中,并被最终读取忽略。它提出了一种PCA-HMM轨迹模型作为诊断工具,该模型能够恢复许多遗漏,而不会产生简单Token池化的误报。

0 人收藏 0 人点赞
← 返回首页

提交意见反馈