compositionality

本文介绍了 ImplicitHop，即两个以推理深度（跳数）衡量演绎推理能力的自然语言基准，并发现，在 15 个开放模型中，准确率均随推理组合长度的增加而急剧下降，且利用上下文中的知识进行推理的表现显著优于利用预训练权重中编码的知识。

论文提出开源 RAG 受控评测框架 LASAGNA，在八个基准和 5K-200K 文档语料上测试 450 种配置，发现单独有效的 RAG 技术组合后收益大幅缩水（预期 +47% 仅得 +17%），检索质量与答案忠实度的设计取舍互相冲突，且最优组合随语料规模变化。

本文利用算法信息论将组合结构形式化，将其定义为把各部分作为整体而非分别考察时涌现的共享结构，并反向运用这一框架来生成具有组合结构的字符串和图像。本文还讨论了这对神经网络深度以及面向开放式学习的组合式数据课程的启示。

RoboCoach 提出一个世界模型引导的教练框架（RIDI 循环），利用想象中的失败来选择有针对性的示范与专家更新，从而提升组合式机器人技能。仅用 150 条额外的子任务示范，即可将 Franka 的成功率从 13.3% 提升至 75.0%。在仿真和真实机器人平台上，想象成功率与实际部署成功率之间存在强相关性（rho = 0.840）。

本文介绍了Differentiable Fuzzy Inference Layer (DFIL)，这是一种用于大型语言模型的新颖预测头，能够实现单调和组合的序数推理，而无需组合训练数据。

本文引入了一个以概念为中心的基准，用于探测LLM对方向、距离和拓扑等地理空间概念的理解，测试不同模型架构和规模下的抽象性、组合性与接地性。研究结果揭示了当前LLM在概念理解上的明显局限。

作者使用迭代学习模型研究意义频率如何影响演化语言中组合性、表达性和稳定性的涌现。他们发现，高频的整体意义可以逃脱语法压力，但应用于子意义部分的频率会导致传播失败。

本文主张应将大型语言模型中的概念视为一个设计轴心，沿着流水线阶段和基础维度映射设计空间，并提出从事后恢复概念转向设计明确的概念表示。

本文提出将多模态数据（图像、视频、文本）表示为原子命题（例如'人拿着杯子'）的包，通过全局语义码本统一，实现可解释、组合化和跨模态理解。该框架在自动驾驶和开放世界数据上进行了演示。

本文认为，最近声称神经网络已解决Fodor和Pylyshyn的系统性挑战的结论为时过早。作者表明，用于组合性的元学习模型在分布外泛化方面失败，甚至在分布内问题上也表现出非系统性行为，从而得出结论：该挑战仍未解决。

本文通过组合语义学的视角研究句子编码器中概念表征的原则，确定了四个关键原则：微调重新校准潜在几何结构，语义信号集中在最后一层，困难负样本提高区分性但不提高排序，监督有效性取决于组合类型。

Dwarkesh Patel 发推文提到 Sergey Levine 的观点：LLM 中的涌现能力源于组合性，而不仅仅是训练数据。

本文将LLM中的模型崩溃重新定义为一种文化传播现象，表明迭代学习理论预测了自我训练下组合性的非单调轨迹，并在多种语言和模型上得到证实。

本文提出了一种Polar Probe，通过在学习的子空间中用距离和方向表示实体关系，从LLM激活中线性恢复语义结构。在算术、视觉场景、家谱、地铁地图和社交互动等多个领域的测试表明，该编码出现在中间层，能泛化到新实体，并对模型预测产生因果影响。