pablodawson/MiniMax-H3-360-Orbit-LoRA
摘要
一个用于 MiniMax-H3(FL2VA 变体)的 Hugging Face LoRA,可将单张照片转换为无缝的 360° 静态场景环绕镜头,最终精确回到起始帧,从而生成可以干净串联的视频片段。
查看缓存全文
缓存时间: 2026/10/02 21:41
pablodawson/MiniMax-H3-360-Orbit-LoRA · Hugging Face
来源:https://huggingface.co/pablodawson/MiniMax-H3-360-Orbit-LoRA
https://huggingface.co/pablodawson/MiniMax-H3-360-Orbit-LoRA#minimax-h3-360%C2%B0-orbit-lora-firstlast-frameMiniMax-H3 360° 轨道环绕 LoRA(首帧–末帧)
一个针对 MiniMax-H3 (https://huggingface.co/MiniMaxAI/MiniMax-H3)(FL2VA 变体)的 LoRA,可将单张照片转换为冻结时间的 360° 相机环绕镜头,并且恰好回到起始的原始帧。
由该 LoRA 从单张照片生成的四个 360° 环绕镜头
把同一张图片同时作为第一个和最后一个关键帧提供给模型,LoRA 会让相机围绕主体环绕一整圈,而场景保持完全冻结。视频会收回到自己的第一帧,因此环绕片段可以首尾串联或拼接成更长的镜头,且不会出现可见的接缝。
https://huggingface.co/pablodawson/MiniMax-H3-360-Orbit-LoRA#resultsResults
每组对比展示了相同输入在相同种子、提示词、分辨率和步数下的三次渲染:
左中右仅使用首帧的基础模型基础模型,首帧 + 末帧基础模型 + 本 LoRA,首帧 + 末帧 skate:仅首帧 vs 首末帧 vs LoRA 首末帧
man2:仅首帧 vs 首末帧 vs LoRA 首末帧
girl2:仅首帧 vs 首末帧 vs LoRA 首末帧
man:仅首帧 vs 首末帧 vs LoRA 首末帧
预览图是缩小尺寸的动画 WebP。全分辨率 MP4:对比视频skate (https://huggingface.co/pablodawson/MiniMax-H3-360-Orbit-LoRA/blob/main/media/skate_comparison.mp4)·man2 (https://huggingface.co/pablodawson/MiniMax-H3-360-Orbit-LoRA/blob/main/media/man2_comparison.mp4)·girl2 (https://huggingface.co/pablodawson/MiniMax-H3-360-Orbit-LoRA/blob/main/media/girl2_comparison.mp4)·man (https://huggingface.co/pablodawson/MiniMax-H3-360-Orbit-LoRA/blob/main/media/man_comparison.mp4);仅使用 LoRA 的片段skate (https://huggingface.co/pablodawson/MiniMax-H3-360-Orbit-LoRA/blob/main/media/skate_lora.mp4)·man2 (https://huggingface.co/pablodawson/MiniMax-H3-360-Orbit-LoRA/blob/main/media/man2_lora.mp4)·girl2 (https://huggingface.co/pablodawson/MiniMax-H3-360-Orbit-LoRA/blob/main/media/girl2_lora.mp4)·man (https://huggingface.co/pablodawson/MiniMax-H3-360-Orbit-LoRA/blob/main/media/man_lora.mp4)。
https://huggingface.co/pablodawson/MiniMax-H3-360-Orbit-LoRA#about-the-comparisons关于对比
- **基础模型,首帧 + 末帧:**当两个关键帧是同一张图片时,基础模型会把片段当作静态画面处理,几乎不移动。
- **基础模型,仅使用首帧:**相机虽然会移动,但会逐渐漂移,且永远不会回到起始视角。
- **加上 LoRA 后:**相机会走完整个环绕路径并回到起始帧,运动平滑且没有剪辑点。
https://huggingface.co/pablodawson/MiniMax-H3-360-Orbit-LoRA#why-this-lora为什么选择这个 LoRA?
参考图生成视频(Ref2VA)会把输入图片当作宽松的外观参考,因此片段不会收回到一个已知的帧上,也就无法干净地拼接。首末帧生成(FL2VA)能固定两端,但在默认情况下,当两端是同一张图片时画面会冻结。这个 LoRA 教会模型一个真实且几何一致的环绕路径,而推理时 FL2VA 的关键帧固定机制则保证两端完全精确。
https://huggingface.co/pablodawson/MiniMax-H3-360-Orbit-LoRA#promptPrompt
请逐字使用以下提示词。
一个冻结的瞬间。只有相机在移动。在一个连续的 360° 环绕中。在整个镜头中,保留每个人和物体在世界坐标中的位置、朝向、形状和姿态完全不变。空中物体保持在被捕捉时的高度和角度上:不摇晃、不抖动、不旋转、不漂移、不下落、不继续动作。保持面部、手部、液体和背景静止,同时保留其自然外观。视差是唯一看起来在动的来源。无剪辑、无缩放、无形变、无新增物体。
https://huggingface.co/pablodawson/MiniMax-H3-360-Orbit-LoRA#recommended-settings推荐设置
设置值基础权重MiniMax-H3 FL2VA,剪枝版(Comfy-Org/MiniMax-H3 (https://huggingface.co/Comfy-Org/MiniMax-H3),int8 ConvRot 重打包)关键帧第一帧和末帧使用同一张图片,以实现完整的 360° 循环分辨率768 × 768帧数73(24 fps 下约 3 秒)步数28引导无。MiniMax-H3 经过引导蒸馏,因此没有 CFG 或负面提示词LoRA 强度1.0音频关闭
https://huggingface.co/pablodawson/MiniMax-H3-360-Orbit-LoRA#usageUsage
这些权重使用 ostris/ai-toolkit (https://github.com/ostris/ai-toolkit) 及其 minimax\_h3 模型扩展训练和测试。键名使用 ComfyUI 命名规范(diffusion\_model\.\*)。
https://huggingface.co/pablodawson/MiniMax-H3-360-Orbit-LoRA#training-details训练详情
https://huggingface.co/pablodawson/MiniMax-H3-360-Orbit-LoRA#dataData
从互联网上人工筛选的高质量**人体高斯溅射(Gaussian splat)**数据,并为每一个渲染了环绕视频。由于这些溅射是静态 3D 场景,每一帧在构造上就是几何一致的。该数据集精确展示了 LoRA 应该学习的运动:相机在动,其他一切不动。
片段数量28 个环绕渲染片段格式768 × 768,73 帧,24 fps提示词每个片段都使用上面那条提示词;提示词丢弃率 0.05音频无
https://huggingface.co/pablodawson/MiniMax-H3-360-Orbit-LoRA#hyperparametersHyperparameters
训练器ostris/ai-toolkit,架构 minimax\_h3,分区 fl2va\_pruned基础模型MiniMax-H3 FL2VA 剪枝版,int8 ConvRot(convrot8);文本编码器为 nvfp4 格式的 Qwen3-VL-32B训练适配器ostris/minimax_h3_training_adapter (https://huggingface.co/ostris/minimax_h3_training_adapter) v1,仅在训练时激活,推理时不需要条件输入每个片段的第一帧作为关键帧(i2v)LoRAlora rank 16,alpha 16,除 adaln\_proj 外的所有 transformer 线性层(共 208 个模块)步数3000(约 107 个 epoch)批大小1,无梯度累积优化器AdamW 8-bit,学习率 1e-4,权重衰减 1e-4精度bf16,梯度检查点噪声调度flow matching,时间步偏移损失MSE,引导损失目标 3.5分辨率桶512,768硬件1 × NVIDIA A100 80 GB,10 小时 24 分钟(约每步 12.5 秒)
https://huggingface.co/pablodawson/MiniMax-H3-360-Orbit-LoRA#limitations局限性
- **适用范围较窄。**训练数据为 28 个人体中心的方形片段,每段 73 帧。其他主体、宽高比和片段长度尚未测试。
- 仍可能出现细微的运动,如眨眼等。
https://huggingface.co/pablodawson/MiniMax-H3-360-Orbit-LoRA#author作者
Pablo Dawson
相似文章
larryvrh/MiniMax-H3-Turbo-Lora
这是 MiniMax-H3 的早期预览版 LoRA,支持在 4 步采样(而非约 20 步)内联合生成视频和同步音频,采样速度约提升 5 倍,并附带 ComfyUI 自定义节点和三个 bf16 检查点。
fal/MiniMax-H3-Realism-People-LoRA
fal 发布了新的 LoRA 适配器 MiniMax-H3-Realism-People-LoRA,增强 MiniMax H3 视频模型,用于逼真的人物肖像、面部和日常场景。包含训练细节、通过 fal.ai LoRA 端点的用法,以及前后对比。
@_akhaliq:MiniMax-H3-Turbo-Lora https://huggingface.co/spaces/akhaliq/MiniMax-H3-Turbo-Lora…
一条推文,分享了 MiniMax-H3-Turbo-Lora 的 Hugging Face Space,这是 MiniMax H3 Turbo 模型的 LoRA 微调变体。
Alibaba PAI/MiniMax-H3 加速 LoRAs
Alibaba PAI 发布了 LoRA 检查点,用于通过并行解码蒸馏加速 MiniMax-H3 视频生成,从而在 8 步内实现高效推理。
akatz-ai/MiniMax-H3-Character-Swap-LoRA
Akatz Labs 发布了一个实验性的 MiniMax H3 角色替换 LoRA(1,000 步训练),可在保留场景的前提下,用一张图像参考替换源视频中的指定角色。作者指出,背景保留效果尚可,但运动时序、面部表情以及硬切镜头仍然不够稳定。