实验用故事板规划的AI电影化场景,而非单提示生成
摘要
探讨了一种故事板规划的AI电影化场景方法,先构建序列结构再逐镜头生成,相比于单提示生成,能产生更连贯的视频,同时指出了当前弱点如身份漂移和交互物理。
最近我在测试一种不同的AI电影化场景方法:系统先构建序列结构,再逐个生成镜头,而不是试图用一个提示生成整部影片。我用这个工作流程制作了这段受《刺客信条》启发的动作序列。大致流程如下:
* 叙事节拍分解
* 镜头图创建
* 场景特定生成逻辑
* 根据镜头类型自动选择模型
* 过渡感知排序
* 片段间连续性处理
有些镜头是独立生成的,另一些则从之前场景中传递信息以保持动感与视觉流动。让我惊讶的是,一旦生成过程从镜头感知变为序列感知,最终序列的连贯性大幅提升。但仍然存在明显弱点:
* 快速运动时的身份漂移
* 环境稳定性
* 交互物理
* 在激烈镜头切换中保持细节
但感觉AI视频的难题最终可能从原始渲染质量转向协调能力。好奇这里的人认为这会如何发展。如果未来模型能瞬间生成完美长视频,创作者真的想要这种自动化程度吗?还是说,创作价值会越来越转向让人类塑造节奏、结构、推进和电影意图,而模型只负责执行?
相似文章
@heyshrutimishra: 从AI视频开始。围绕你想要讲述的故事构建下一个场景。不仅仅是又一个视觉上有趣的镜头…
Seedance 2.5 在AI视频生成方面备受瞩目,它允许通过时间戳指令精确放置动作、揭示和过渡,以支持故事驱动的场景。
@alex_prompter: 如果你制作AI视频,你就知道这个循环。写提示词、生成、重试,直到你的额度用完。@Topv…
TopviewAI 的 Film Studio 为 AI 视频生成提供了六种控制,包括表演指导、镜头控制和 3D 场景布局,让电影制作人能够执导镜头,而不仅仅是提示片段。
我一直在为AI社区构建一些东西,希望能得到一些早期反馈。
Dhee 是一款新型智能视频生成AI,能够根据单一描述生成视频,自动处理提示词、图像生成与合成,并支持逐镜头编辑以进行精细调整。
@LinusEkenstam: 故事板优先。永远如此。我试过了Topview的新无限画布用于AI视频创作。不再盲目提示……
Topview Canvas是一个新的以故事板优先的无限画布,用于AI视频创作,让用户能够视觉化规划并掌控故事,而非盲目提示,使用GPT-image-2生成帧。
SmartDirector: 关键帧条件化的电影视频生成与叙事节奏控制
SmartDirector是一个通过多关键帧增强视频生成的框架,旨在改善叙事结构和时间节奏,采用低分辨率生成和高分辨率优化的两阶段流程。