标签
本文使用范畴论形式化了Transformer中的类比推理，引入了合成任务来研究其涌现，并揭示了它源于关系结构的几何对齐和函子应用，同时在预训练的LLM中也发现了类似的特征。该工作被接收为ICML 2026的Spotlight。
讨论AI用到的数学主要是19世纪之前的线性代数、微积分等，但涌现现象如Scaling Law、涌现能力、双下降、情境学习和表示几何缺乏数学解释，类比1900年物理学的乌云，认为可能推动21世纪数学发展。
讨论当前LLM评估方法的结构性弱点，这些方法未能预见能力的质变，并指出开发主动评估基础设施是实现安全能力跃升的关键瓶颈。