标签
本文介绍了 Statistically Meaningful Geometry (SMG)，这是一个几何框架，用于将过参数化学习系统建模为无限维非参数 Orlicz 纤维丛。它提出在分布外刺激下，系统会发生规范对称破缺，导致新的因果轴涌现，从而能够区分真正的科学发现与幻觉。
研究语言智能体在长期任务中世界模型塌缩的相变现象，发现状态负载和依赖密度等参数在临界点附近导致模型突然崩溃，而非逐渐退化。
这篇推文探讨了统计力学与人工智能之间的关系，并引用了一篇论文，该论文提出了机器学习系统的热力学理论，引入了温度、熵和能量等概念，将训练过程视为相变。
这篇文章探讨了物理学与深度学习之间的深层联系，分析了Scaling Law、涌现等现象与物理学中临界标度律、相变等概念的同构性，并梳理了物理方法论在AI中的应用现状与前景。
研究人员发现了一个关键规模（约35亿参数），在该规模下，AI模型的推理与真实性之间的权衡从对抗转向合作。他们提供了一个框架、交互式仪表板以及开源引导工具，用于识别并纠正小规模下出现的错误输出。
本文使用LoRA作为探针，研究了大语言模型中参数化记忆的定量极限，建立了幂律关系，并引入了一种名为MemFT的阈值引导优化方法，以提升记忆性能。
本文探讨了思维链推理在何时对大语言模型有益，表明早期熵动力学能够可靠地指示推理效用，并介绍了EDRM，这是一个轻量级、无需训练的框架，可自适应选择推理策略，在保持或提升准确率的同时显著节省token。
本文识别了语言模型缩放中的一种相变：在低于关键参数数量时，推理和真实性呈负相关，但高于该值时则相互协作。它提供了用于改进跨模型家族对齐的诊断和干预措施。
北京航空航天大学等机构的研究人员提出了HalluSAE，这是一个结合稀疏自编码器与相变理论的框架。该框架通过将生成过程建模为穿越势能地形的轨迹，来检测大型语言模型（LLM）中的幻觉，并精准定位发生事实性错误的关键过渡区域。