标签
ADAGE 是一种语言无关的流水线,用于构建具有挑战性且无需翻译的抽象类比推理基准。它揭示了模型在阿拉伯语、阿姆哈拉语和日语中普遍存在的文化推理差距。
本文使用范畴论形式化了Transformer中的类比推理,引入了合成任务来研究其涌现,并揭示了它源于关系结构的几何对齐和函子应用,同时在预训练的LLM中也发现了类似的特征。该工作被接收为ICML 2026的Spotlight。