标签
该论文表明,REPA 和分散正则化等扩散模型训练加速方法主要重组 AdaLN-Zero 残差门控 α,并提出了一种无需教师模型的径向目标,通过扩大门控参与范围,改善 SiT-B/2 在 ImageNet 256×256 上的 FID。
CausalAlign 论文提出一种因果对齐框架,通过将扩散视频生成模型的内部表征与 3D 基础模型在 delta-token 空间中对齐,改善长时程相机自运动的一致性,在几何一致性上提升超过 20%,并提升了具身操作任务中世界动作模型的成功率。
提出一种通过蒸馏最优传输在仅有100-500个配对样本下对齐两个独立预训练单模态编码器的方法,在Flickr30k、MS-COCO和ChEBI-20上以相同锚点预算超越现有方法。
该论文发现全模态大模型(Omni-LLMs)存在'知道却说不出'(knows-but-cannot-say)的现象,即能感知非文本模态信息却难以在输出中表达。作者提出Token级模态对齐(TMA)指标和OmniCatalyst方法,通过自生成文本补充模态输入,在七个Omni-LLM上平均提升7.29%性能并平衡模态偏好。
论文提出 ViRA 框架,研究视觉基础模型(VFM)表征何时能提升端到端自动驾驶性能,发现 VFM 目标选择与辅助感知监督显著影响规划增益,并推出 ViRA-Diffusion 在 NAVSIM v2 上达到 92.3 EPDMS。
ProAR 通过非对称注意力掩码将生成锚定在预测的目标帧上,并引入未来表征自对齐,从而将自回归视频生成转变为面向目标的推理过程,在仅使用标准 AR 基线 25% 训练步数的情况下,在基准测试上取得了显著提升。
PixelDense 将密集预测任务重构为像素空间扩散的表征对齐目标,通过独立的投影流分别路由语义教师(DINOv2、SAM2)和几何教师(Depth Anything v2、Metric3D v2),并加入正交性惩罚。该方法提升了 PixelGen 和 DeCo 上的 GenEval、DPG-Bench 与 HPSv2.1 得分,在部分噪声重建中 PQ 提升最高达 53.1%,且训练速度比基线快 1.23 倍。
ELF-REG通过使用表示对齐和纠缠,将连续扩散语言模型扩展到推理任务,在基准测试如GSM8K和HumanEval上,相比其他扩散模型实现了性能提升。
这篇综述定义了模型融合,并将研究组织为参数级、表示级和行为级三个层次,以集成大型语言模型的能力。
DCRA提出了一种扩散条件表示对齐框架,旨在增强时间序列学习的鲁棒性,尤其适用于脑电图(EEG)和心电图(ECG)等临床信号,通过对不同噪声水平下的表示进行对齐来实现。
本文探讨了在仅解码器语言模型中使用K/V缓存干预进行人格控制的方法,发现表征对齐与行为表达之间存在解耦,其中中层干预在人格表达方面有效且能保留词汇多样性。
FlashRender是一个几步生成式渲染框架,通过对齐表示和使用均值流目标来加速视频合成,在显著降低采样成本的同时,达到与多步方法相当的质量。
ReFlowSET是一个用于高保真SAR到EO图像翻译的潜在流匹配框架,通过编解码器选择和带有视觉模型对齐的条件DiT,实现了最先进的性能。
一项系统性实证研究显示,当规模足够(≥1.7B参数)时,从一种语言模型中提取的概念方向可以引导其他独立训练的模型,为柏拉图式表征假说提供了功能上的证据,并突显了跨模型可解释性工具的规模阈值。
本文介绍了CGTime,一个4B参数的计算基础时间序列-语言模型,通过确定性统计和LLM言语化将感知与描述解耦,在多元理解任务上优于更大的通用模型。
本文研究了扩散Transformer中自对齐方法的机制,揭示了Self-Flow等方法带来的性能提升主要来自噪声维度上的数据增强,而非噪声级别之间的token交互。作者引入Attention Separation来证明这一点,并提出了一种结合自表示对齐与双时间步增强的有效设计。
GEAR提出了一种通过表示对齐共同训练向量量化分词器和自回归生成器的方法,实现端到端训练,在ImageNet gFID上相比强基线实现高达10倍的收敛速度提升。
HeRA 在多模态大型语言模型 (MLLMs) 中对齐单个注意力头,以保留跨模态的局部邻域关系,从而提升视觉中心任务的性能并减少视觉幻觉。
DO-ALL 是一个即插即用框架,利用数据集蒸馏生成合成锚点来总结源数据,从而无需保留原始源数据即可实现稳定的长期持续测试时自适应。
本文首次系统研究了视觉-语言-动作(VLA)模型中的多语言指令跟随问题,揭示了当模型基于英语训练时,在其他语言上的性能显著下降。作者提出了多语言主成分对齐(MPCA)方法来缩小多语言性能差距。