LiconStudio/Ltx2.3-VBVR-lora-I2V · Hugging Face

Source: https://huggingface.co/LiconStudio/Ltx2.3-VBVR-lora-I2V

LTX-2 VBVR LoRA - 视频推理

基于VBVR（一个超大规模视频推理套件）数据集，为LTX-2.3 22B微调的LoRA权重。

训练数据

为确保训练质量，我们对官方数据集中的全部1,000,000个视频进行了预处理，并在训练过程中随机采样以保持数据多样性。我们采用官方参数，batch_size=16，rank=32，以防止过大的rank导致灾难性遗忘。

VBVR数据集包含200个推理任务类别，每个任务约5,000种变体，总计约1M个视频。主要任务类型包括：

• 物体轨迹：物体移动到目标位置
• 物理推理：滚球、碰撞、重力
• 因果关系：条件触发、连锁反应
• 空间关系：相对位置、路径规划

模型详情

待办事项

数据集发布计划

LoRA 功能

此LoRA适配器增强了基础LTX-2模型在生产级视频生成工作流中的能力：

• 增强的复杂提示理解：准确解释多物体、多条件提示，包含详细的空间描述和时间序列，减少生产场景中的提示误解。
• 改进的运动动力学：生成平滑、物理上合理的物体运动，具有自然的加速、减速和轨迹曲线，避免生硬或不自然的运动模式。
• 时间一致性：在整个视频序列中保持物体外观、光照和场景连贯性，减少生成视频中常见的闪烁和帧间伪影。
• 精确的时间控制：基于提示语义，能够精准控制动作持续时间、节奏以及多个运动元素之间的同步。
• 多物体交互：处理多个物体同时交互的复杂场景，包括碰撞、跟随、躲避和协调运动。
• 相机与构图稳定性：在整个序列中保持相机视角和构图一致，避免不必要的相机抖动或视角突变。

训练配置

评估指标

损失训练曲线 (https://huggingface.co/LiconStudio/Ltx2.3-VBVR-lora-I2V/blob/main/loss-plot-96000.png)

视频演示

训练进度对比

第0步（基础模型）

初始模型输出。

第6000步（微调后）

经过6K步训练后。

数据集

此模型基于来自 video-reason.com (https://video-reason.com/) 的 VBVR（视频推理基准）数据集训练。

联系方式

如有疑问或建议，请在 Hugging Face 上开 issue 或直接联系作者。