标签
Vathography 是一种全新的创作方式,将从照片中推断出的深度图转化为艺术作品,利用扩散 Transformer 估计深度,让创作者将对焦视为深度到色调与色彩的映射。受 Marigold V2 精细深度分解的启发,它将通常隐藏在幕后的技术处理步骤重新诠释为一种艺术表达形式。
HairDeck 提出使用集合扩散 Transformer 从单张图像生成风格化发卡与弹簧骨动画,将 CHARM 的倒角距离降低 44%,速度提升 33 倍,可直接导出为可用的下游资产。
OrderFlowDiT提出了一种带非平衡最优传输正则的条件扩散Transformer,用于预测未来五分钟限价订单簿的成交量-价格分布,相比MSE训练将全字段传输成本降低45.8%。
MOSS-Image 是一个开源的 50 亿参数扩散 Transformer,融合了高保真图像合成与意图感知的提示词增强能力,可实现双语长文本渲染与布局一致性生成,并在全新的 LongLongTextBench 和 RealLayoutArena 基准测试上取得了开源模型的最先进结果。
AcrossVAM2.0 提出一种冲突感知的点对应监督方法,用于参数高效的视频扩散模型适配,通过置信度加权跟踪头、零初始化残差反馈和非对称 PCGrad,在保持预训练外观先验的同时提升对应一致性,但并不均匀改善视频质量。
**OmniXRef** 提出了一个统一的多模态多参考视频编辑框架,支持结合文本、图像和视频参考来精细控制源视频的多种属性,并同步发布了配套的模型、训练数据集以及评测基准 **OmniXRef-Bench**。
Dream4ACT 提出了一种共享视觉动作接口("动作视图"),通过基于 URDF 的正运动学进行渲染,以实现跨多种机器人具身的联合视频-动作建模。该方法将观测与动作统一到一个采用掩码流匹配(masked flow matching)的扩散世界模型中,在 RoboTwin 2.0 上取得 88.98% 的成功率,在 TriWorldBench 上总分达 65.66,并借助一种无需训练的 URDF 约束恢复机制生成可执行动作。
FlowTool是一个将基于工具的图像编辑建模为流程匹配问题的框架,与自回归多模态模型相比,实现了更优的性能和效率。
Meta AI 推出了 Muse Realtime Avatar,这是一项尖端的化身技术,使用流式 Diffusion Transformer 实时将语音转化为同步、富有表现力的化身。
Mira-Scene 引入了一个组合式三维场景重建框架,使用像素对齐的规范坐标图进行精确的对象布局,在布局精度上相较于现有方法实现了显著提升。
Marigold V2 将图像编辑 DiT 转换为单步模型,用于清晰密集预测,在深度估计及相关任务中实现了最佳零样本结果,采用 Apache 2.0 许可证。
LynnReal-Omni 是一个统一的多模态视频扩散框架,它将智能体视觉控制与高保真生成和实时加速相结合,以实现稳定、可控的视频创作。
一篇详细的文章,介绍了从头开始在单个GPU上训练一个210M文本到图像扩散Transformer,分享了关于注意力汇聚、损失作为健康信号以及时间步偏移益处的关键测量结果。
StepAudio 3 Music 介绍了一个大规模、长篇音乐生成模型,通过 ABC-CoT 实现显式音乐规划,在音频质量和相似度指标上取得了高分,与其他系统相比表现优异。
UniMate是一个统一的扩散变换器模型,能够从文本和绑定了3D资产为多样骨架生成关节运动,无需针对每个骨架进行重新训练。它利用拓扑感知注意力和一个大型精选数据集。
OutageDiT是一种用于停电预测的生成式基础模型,它采用Diffusion Transformer架构生成七天停电轨迹,提高预测准确度并实现向新区域的零样本迁移。
LLaDA-Image 提出了一个统一框架,结合了一个 60 亿参数的扩散变换器和一个冻结的视觉语言模块,用于生成具有精确编辑功能的逼真图像,通过高效的训练和快速推理,在开源模型中达到了最先进的成果。
World Labs 推出 Atlas,一个能够生成、重建和模拟三维环境的多模态世界模型,并支持相机控制和空间一致性。
Wan-Animate-2 是一个全新的端到端角色动画框架,它在重新设计的 Diffusion Transformer 中直接输入驱动视频,实现高保真动作生成和身份保持。它还推出了一个轻量级变体,用于实时流式动画,并已发布开源权重。
AtlasVLA 引入了具有持久世界-自我状态建模的双记忆架构,以克服视觉-语言-动作模型中的感知遗忘和任务进度遗忘问题,仅通过单个腕部相机即可实现最先进的长时程操作。