compositionality

本文通过组合语义学的视角研究句子编码器中概念表征的原则，确定了四个关键原则：微调重新校准潜在几何结构，语义信号集中在最后一层，困难负样本提高区分性但不提高排序，监督有效性取决于组合类型。

Dwarkesh Patel 发推文提到 Sergey Levine 的观点：LLM 中的涌现能力源于组合性，而不仅仅是训练数据。

本文将LLM中的模型崩溃重新定义为一种文化传播现象，表明迭代学习理论预测了自我训练下组合性的非单调轨迹，并在多种语言和模型上得到证实。

本文提出了一种Polar Probe，通过在学习的子空间中用距离和方向表示实体关系，从LLM激活中线性恢复语义结构。在算术、视觉场景、家谱、地铁地图和社交互动等多个领域的测试表明，该编码出现在中间层，能泛化到新实体，并对模型预测产生因果影响。