标签
该论文区分了表征相似性的两种度量——原生余弦几何与线性可恢复性,并在五个模型族的天文数据集嵌入上发现,模型规模主要提升线性对齐后的邻域对应,而非原生几何收敛。
该论文研究了奖励模型中的涌现性错位(Emergent Misalignment),发现对 Skywork-Reward-V2 奖励模型进行窄域有害微调会泛化到七个未见领域,并通过几何压缩与内容特异性旋转两种机制解释了偏好反转的实现方式,表明奖励模型比语言模型更易受此影响。
FlexUMM提出了一种灵活的统一多模态模型框架,动态决定何时保留共享计算、何时路由到专门化容量、何时提前停止处理,从而在提升理解与生成任务准确性的同时提高计算效率,可作为即插即用模块增强现有UMM。
本文表明,仅依靠零假设对照不足以验证科学发现和可解释性系统,证明了像闭合性这样的验收测试可能被科学上毫无意义的候选结果通过,并提出结合多种标准,既能接受真实结果,又能拒绝零假设结果。
提出在由2D基础模型导出的高维隐式3D潜在空间中直接进行扩散建模,实现3D-grounded的场景级3D生成,相比2D多视角方法在空间一致性和效率上更具优势,并验证了其在表示与模型容量上的可扩展性。
SpecMRL 提出在参数化谱空间中重新组织特征以改进嵌入的前缀读出,在 MTEB 上以更少的嵌入维度超越标准 MRL 及其全维表现。
## 一篇观点性论文 **主题:面向基于 JEPA 的潜空间世界模型的四阶段研究议程——Ground(奠基)、Structure(结构化)、Verify(验证)、Act(行动)** **摘要** 该观点性论文提出了一套四阶段研究议程——**Ground、Structure、Verify、Act**——用于解释基于 JEPA(Joint Embedding Predictive Architecture,联合嵌入预测架构)的潜空间世界模型。文章主张,可解释性研究的重心应当从"解码表征内容"转向"理解潜变量之间的相互作用、演化过程及其对预测的因果驱动机制"。 核心论点包括: - **从解码到机制**:传统可解释性方法倾向于把潜变量当作需要还原为人类可读语义的"黑箱编码",而在潜空间世界模型中,关键问题不再是"模型学到了什么特征",而是"这些潜变量如何协同工作并产生预测"。 - **关注相互作用与演化**:潜变量之间的耦合关系及其随时间的动态演化,才是理解模型内部世界表征的切入点。 - **强调因果驱动**:预测能力的来源应被解释为潜变量层面的因果过程,而非仅仅归因于统计相关性。 **四阶段议程** 1. **Ground(奠基)**:为潜变量建立语义与经验锚点,明确其对应的世界要素。 2. **Structure(结构化)**:刻画潜变量之间的组织方式、依赖结构与层级关系。 3. **Verify(验证)**:通过干预与反事实实验检验所识别结构的可靠性与因果有效性。 4. **Act(行动)**:将理解结果反馈至模型设计、规划与控制,实现"理解即可用"。 论文认为,只有完成这一从表征解读到机制理解的范式转变,才能真正回答 JEPA 类世界模型"为何有效"以及"如何可信"的问题。
提出了一个将持久同调整合进DMAE骨干网络的拓扑感知表示学习框架,用于编码三周期极小曲面(TPMS)机械超材料的全局结构连通性,在机械属性无监督聚类上提升最高达51.5%,回归R²达0.993。
该论文提出开放世界AI需要三项核心要求:推理时学习、丰富表示和预测性解纠缠,并在最大880亿参数的语言模型上验证了满足这些要求的模型能从相关任务数据中持续提升,而其他模型则会退化。
MaSS 通过解耦结构表征与上下文特征并引入场景结构判别目标,使自监督单目深度估计可扩展到多样场景训练,并在零样本评估中展现出强大的跨域泛化能力。
论文提出了DualView,一种参数高效的多输出文本回归方法。该方法利用冻结的大语言模型提取通用表示和输出特定表示,并通过双分支架构联合预测多个数值目标。在五个任务、八个大语言模型上的实验中,该方法优于七个监督学习基线,且可训练参数量减少了82–1842倍。
HiPPT是一个基于生理学的可穿戴PPG表示学习框架,通过多范围文本对齐(记录级形态对齐与跨记录上下文对齐)在超过400万条腕部PPG记录上进行预训练,在血压、血管僵硬度等六项下游任务的线性探测中取得最佳结果,并支持年龄组、性别和BMI的零样本画像。
该论文对九种主流类增量学习(CIL)方法在五个冻结的蛋白质编码器上的表现进行了系统基准测试,发现没有方法能可靠跨编码器迁移,并分析了失败源于嵌入几何异质性与不稳定的梯度稳定性信号,主张持续学习设计应将表征本身作为核心组件。
该论文提出预测锚定预训练原则,并将其实例化为 Lotus 模型,通过时序-频谱块表示将时间序列映射到大语言模型的嵌入空间,在多个基准上以极少的可训练参数超越规模大 25–50 倍的模型。
论文提出重分配敏感性分数(RSS),用于识别稀疏自编码器中可复现的特征重分配,并量化其对下游线性读出(如安全读出)失败的贡献,在 27 个预训练 SAE 上取得了较高的 AUROC。
论文提出 RepForcing,通过表示空间监督(而非中间教师的轨迹回归)来初始化少步自回归视频生成器,并结合非对称 DMD,在 4 步采样下 VBench 总分从 84.04 提升至 84.66,VisionReward 提升约 59%。
G³VLA 通过光线嵌入、投影位置编码和跨视角融合,将标定的多相机几何结构注入预训练视觉-语言-动作模型,在不改变动作空间的情况下提升机器人操作的几何一致性与视角鲁棒性。
GlucoPRISM 通过协议监督的预训练,将连续血糖监测(CGM)日表征分解为特质、状态和传感器三个频带,在部署时以固定投影移除传感器相关分量,从而在无需目标数据的情况下将十二个跨队列迁移方向的平均 AUROC 从 68.75 提升至 73.57。
该论文提出了语言监督(Language as Supervision,LaS)方法,通过将神经特征与自然语言类别描述对齐来实现脑机接口解码。在语音解码任务中,该方法相较于传统的类别标签监督基线最多提升了 17.15 个百分点,并支持对未见类别的泛化。
该论文研究了策略内自蒸馏(OPSD)在大语言模型(LLM)自我改进过程中导致已有能力退化的问题,发现这种退化与隐藏表示几何结构恶化(簇内紧凑性和簇间分离度下降)相关,并提出表示几何正则化(RGR)方法,在不改变原有优化流程的情况下有效缓解能力退化。