SolarRenderer：少步生成式参考渲染

Hugging Face Daily Papers 论文
generative-rendering video-generation few-step-diffusion game-engine lora real-time-inference

摘要

SolarRenderer 将任意引擎的无纹理结构通道结合参考首帧，生成风格化完整视频，基于 MiniMax-H3 构建，通过控制 LoRA 与少步蒸馏 LoRA 实现实时逐帧结构一致的渲染，无需按游戏训练。

游戏引擎和编程智能体可以指定场景的布局、运动与镜头，然而将这种粗粒度结构转化为逼真的视频，需要一个既能遵循结构、又能补全其所留白的外观信息的渲染器。现有渲染器与特定引擎的表示方式绑定，需要数十步去噪或高昂的自有蒸馏训练，且其训练所用条件与目标视频并不对齐。我们提出 SolarRenderer，一种结构条件化的视频渲染器，通过两个轻量级 LoRA 对冻结的 MiniMax-H3 33B 主干进行适配。结构化视频在主干的原生参考通道中输入，位置对应其所描述的帧，无需类型标识符，仅用纯文本描述，使单一控制 LoRA 即可跟随任意结构表示。从预训练的四步 LoRA 出发，结构引导的分布匹配渲染只需四步，比 50 步采样快 12.3 倍，同时保留了学到的控制能力。一种块因果变体将同一设计扩展至流式场景，可实时渲染 768p 视频。为训练该模型，我们从游戏引擎、模拟器和 YouTube 视频中构建了 136K 条帧对齐的片段语料库。在同分布测试集与涵盖 16 种结构表示的泛化基准上的实验表明，SolarRenderer 在两者上均取得了最先进的结果，并能泛化到 11 种未见过的表示，包括姿态骨架、简笔画和点云。
查看原文
查看缓存全文

缓存时间: 2026/10/21 07:03

论文页面 - SolarRenderer：少步生成式参考渲染

Source: https://huggingface.co/papers/2610.28630

SolarRenderer 能将任意引擎的无纹理结构通道转化为完整的风格化视频，以参考首帧为引导。该模型基于 MiniMax-H3 构建，包含一个控制 LoRA 和一个少步蒸馏 LoRA。

🎯 精准结构。 输出逐帧遵循输入的几何、运动和时序。每个对象都保持在引擎放置的位置，渲染与游戏保持同步。在我们的保留基准测试中，该方法在结构维度排名第一（Elo 1313，与其余九种方法对比）。

♾️ 极致通用。 支持任意游戏、角色或场景：Blender、three.js 浏览器游戏、游戏引擎，甚至用手机拍摄屏幕。它按照首帧设定的风格进行渲染，无需针对任何单个游戏进行训练。

⚡ 实时且无终止。 块因果学生模型每个块渲染 4 步。以 24 fps 每 0.70 秒生成一个 17 帧的块，延迟约 1.1 秒。借助 KV 缓存，只要输入持续，它就能无限渲染下去。拿起手柄，开玩吧。

📄 论文：https://arxiv.org/abs/2610.28630 🌐 项目页面（在线演示）：https://enderfga.cn/SolarRenderer/ 💻 代码：https://github.com/Enderfga/SolarRenderer 🤗 权重 · 数据 · 基准：https://huggingface.co/collections/Enderfga/solarrenderer

相似文章

以游戏速度运行的生成式世界渲染器

Hugging Face Daily Papers

本文介绍了 AlayaRenderer-Flash，这是一种实时生成式世界渲染器，通过使用少步自回归流式模型和轻量级蒸馏编解码器，将渲染速度从 0.56 FPS 提升到 31.54 FPS，实现了与物理引擎的交互式游玩。

Matrix-Game 4.0：利用视频模型实现实时可玩游戏世界

Hugging Face Daily Papers

Matrix-Game 4.0 将游戏逻辑与视觉合成分离，通过可执行引擎与自回归视频渲染器实现低延迟的实时可玩游戏世界，在单张 RTX5090 上达到 480p、60 FPS 及 112ms 按键到显示延迟，并开源代码、模型权重与低多边形游戏资产。

Lyra：基于视频扩散模型自蒸馏的生成式 3D 场景重建

Papers with Code Trending

Lyra 提出一个自蒸馏框架，将视频扩散模型中的隐式 3D 知识蒸馏为显式的 3D Gaussian Splatting 表示，无需多视角训练数据即可从文本或单张图像生成静态与动态 3D 场景，并达到当前最优性能。