标签
论文提出HEST方法,通过熵训练探针将大语言模型的隐藏状态嵌入到庞加莱球中,仅沿双曲测地线引导高熵(即犹豫)的token,从而在Qwen2.5-Math和Llama-3.1模型上提升数学推理准确率,而固定向量的欧式引导方式在这些模型上效果不佳。
本研究探究了基于单语数据训练的幻觉检测探针在Hinglish上的迁移效果,结果显示检测性能稳健,且Hindi和Hinglish中的幻觉率高于英语。
本文提出通过轻量级MLP探测器分析LLaMA-3.1-8B的激活状态,以高F1分数检测有害提示,为大型外部护栏模型提供了一种经济高效的替代方案。