标签
作者分享的现场笔记显示，微调可以通过引导注意力来提升模型的判断力，无需添加新知识或权重，实际上是改变其本能而非智商。
提出了流形引导的注意力转向（MAGS），这是一种轨迹感知的推理时干预方法，通过将注意力输出投影回学习的正确性流形（当偏差超过阈值时）来纠正LLM中的推理错误，在数学、代码和分子基准测试中优于静态转向方法。