标签
本文展示了当数据形成群轨道时,标准神经缩放定律的推导会失败,因为内蕴维数未定义,导致模型性能呈现指数缩放而非幂律缩放。
本文介绍了一个嵌套的几何分解框架,用于分析提示如何重新组织大型语言模型和视觉-语言模型的内部表征。作者表明,仿射变换,特别是跨维度的线性混合,是解释提示引起的行为变化的关键。
本文研究了大语言模型在上下文学习过程中如何重组表征几何结构,表明上下文学习性能与任务的几何结构相关,且成功的上下文学习涉及提高表征的可分离性。
作者评论当前AI研究过多使用计算机科学的思维方式而缺乏物理学方法,提出需要建立如'Cyber Space'的理想系统来奠定理论基础。
# 论文页面 - 几何金丝雀:通过表征稳定性预测可操控性与检测漂移 来源:[https://huggingface.co/papers/2604.17698](https://huggingface.co/papers/2604.17698) ## 摘要 几何稳定性指标既能预测语言模型的可控性,也能检测其结构退化;其中监督版在操控预测上表现优异,无监督版在漂移检测上更胜一筹。