标签
该论文对在随机扩展LDPC码的码字上训练的稠密联想记忆进行了理论分析，发现了一种类似grokking的从记忆到泛化的转变现象。论文提出了一种阈值化学习规则，仅需O(log n)个训练样本即可实现样本高效学习，并能促成潜在变量表示的涌现。
## 一篇观点性论文 **主题：面向基于 JEPA 的潜空间世界模型的四阶段研究议程——Ground（奠基）、Structure（结构化）、Verify（验证）、Act（行动）** **摘要** 该观点性论文提出了一套四阶段研究议程——**Ground、Structure、Verify、Act**——用于解释基于 JEPA（Joint Embedding Predictive Architecture，联合嵌入预测架构）的潜空间世界模型。文章主张，可解释性研究的重心应当从"解码表征内容"转向"理解潜变量之间的相互作用、演化过程及其对预测的因果驱动机制"。 核心论点包括： - **从解码到机制**：传统可解释性方法倾向于把潜变量当作需要还原为人类可读语义的"黑箱编码"，而在潜空间世界模型中，关键问题不再是"模型学到了什么特征"，而是"这些潜变量如何协同工作并产生预测"。 - **关注相互作用与演化**：潜变量之间的耦合关系及其随时间的动态演化，才是理解模型内部世界表征的切入点。 - **强调因果驱动**：预测能力的来源应被解释为潜变量层面的因果过程，而非仅仅归因于统计相关性。 **四阶段议程** 1. **Ground（奠基）**：为潜变量建立语义与经验锚点，明确其对应的世界要素。 2. **Structure（结构化）**：刻画潜变量之间的组织方式、依赖结构与层级关系。 3. **Verify（验证）**：通过干预与反事实实验检验所识别结构的可靠性与因果有效性。 4. **Act（行动）**：将理解结果反馈至模型设计、规划与控制，实现"理解即可用"。 论文认为，只有完成这一从表征解读到机制理解的范式转变，才能真正回答 JEPA 类世界模型"为何有效"以及"如何可信"的问题。
DSReg提出通过依赖稀疏性正则化（Structural Diversity条件），在无需重建、解码器或标签的情况下可证明地恢复单个世界隐变量，建立了首个完全可识别的JEPA表示学习方法。
ReLaG 是一个可扩展且与数据模态无关的框架，它通过近邻图与社区检测来推断相关样本的分组，从而生成独立的训练–测试划分，解决了在含潜在关系的数据上随机划分所导致的过于乐观的泛化估计问题。相比现有的关系感知方法，ReLaG 具有更优的可扩展性，并提供一种无需标签的流程，可根据生产环境调整划分粒度，现已作为可通过 pip 安装的开源软件发布。
EmoStance是一种用于共情响应生成的方法，它使用表情符号弱监督来建模响应侧的情感取向，从而提高对话中的上下文特异性和感知响应性。
本文探讨语言模型中的注意力机制如何无需选择性门控即可使潜在变量变得可访问，并识别出一个特定需求的中等深度窗口，注意力介导的聚集在此发生。
本文提出了缺失数据流匹配（Missing-Data Flow Matching）方法，该方法将训练样本中缺失的坐标视为潜在变量，并在可能取值上对流匹配损失进行平均。理论分析表明该修正是精确的，并提供了设计指导，实验在表格数据上验证了该方法的有效性。
本文研究了主动推理智能体中因果涌现的架构位置，发现一个慢速全局潜变量(g)是整合信息(Φr)的主要场所，并且标量Φr不应被解释为学习整合的直接度量。
形式化思维编织（WoFT）引入了一种针对代码生成的完备且可靠的约束解码器，该解码器能确保相对于完整的Tree-sitter规范保持语法有效性；同时提出一种微调方法，通过使用加权唤醒-睡眠算法训练模型将语法符号交织到生成过程中，从而改进Python代码生成的困惑度。
本文介绍了在存在潜在变量情况下进行因果发现的基于分数的方法，提供了一致性和分数等价性的理论保证，并统一了几种基于约束的方法。
本文提出“多样性字典学习”，证明在无需强假设的情况下，仅凭观测数据即可识别潜在变量间的关键集合论关系，实现部分甚至完全可识别性，且仅需极小的归纳偏置。