标签
研究人员发现了一个关键规模（约35亿参数），在该规模下，AI模型的推理与真实性之间的权衡从对抗转向合作。他们提供了一个框架、交互式仪表板以及开源引导工具，用于识别并纠正小规模下出现的错误输出。
本文使用LoRA作为探针，研究了大语言模型中参数化记忆的定量极限，建立了幂律关系，并引入了一种名为MemFT的阈值引导优化方法，以提升记忆性能。
本文探讨了思维链推理在何时对大语言模型有益，表明早期熵动力学能够可靠地指示推理效用，并介绍了EDRM，这是一个轻量级、无需训练的框架，可自适应选择推理策略，在保持或提升准确率的同时显著节省token。
本文识别了语言模型缩放中的一种相变：在低于关键参数数量时，推理和真实性呈负相关，但高于该值时则相互协作。它提供了用于改进跨模型家族对齐的诊断和干预措施。
北京航空航天大学等机构的研究人员提出了HalluSAE，这是一个结合稀疏自编码器与相变理论的框架。该框架通过将生成过程建模为穿越势能地形的轨迹，来检测大型语言模型（LLM）中的幻觉，并精准定位发生事实性错误的关键过渡区域。