Pika-Labs/Pika-H3-Flex
摘要
Pika 发布开源权重的视频生成模型 Pika H3 Flex,支持六步采样生成带同步音频的视频,最多可输入 12 个参考,本地推理支持 480p/768p,通过 Pika API 可扩展至 4K 与音频分轨。
查看缓存全文
缓存时间: 2026/10/30 09:08
Pika-Labs/Pika-H3-Flex · Hugging Face
来源:https://huggingface.co/Pika-Labs/Pika-H3-Flex Pika H3 Flex
为专业迭代而生。
六步生成 · 全参考输入 · 原生 480p / 768p · 通过 Pika API 最高可达 4K
Pika API (https://dev.pika.art/)Create with Pika (https://create.pika.art/)技术博客 (https://pika.art/blog/pika-h3-flex-research)GitHub (https://github.com/Pika-Labs/Pika-H3-Flex)Hugging Face (https://huggingface.co/Pika-Labs/Pika-H3-Flex)
模型权重 (https://huggingface.co/Pika-Labs/Pika-H3-Flex)·观看样例 (https://huggingface.co/Pika-Labs/Pika-H3-Flex#watch-the-model)·快速上手 (https://github.com/Pika-Labs/Pika-H3-Flex#install)·提示词指南 (https://github.com/Pika-Labs/Pika-H3-Flex/blob/main/docs/prompt-guidance.md)·Pika API 扩展能力 (https://huggingface.co/Pika-Labs/Pika-H3-Flex#pika-api-extensions)
Pika H3 Flex 是一个经过后训练的 H3 模型,专为让专业创作者拥有灵活而高效的精确探索能力。它针对更强的可控性进行了优化,能在六个采样步骤内生成带有同步音频的视频,并支持最多 12 路参考输入,可通过参考图与提示词来指导镜头调度。
Pika 的托管 API 将这一工作流进一步扩展,支持 1080p、2K 与 4K 视频生成 (https://dev.pika.art/models/pika/pika-h3-flex/draft-to-video)、音频分轨 (https://dev.pika.art/models/pika/pika-h3-flex/audio-stems) 以及提示词增强 (https://dev.pika.art/models/pika/pika-h3-flex/prompt-rewriter)。本地开源权重推理则支持原生 480p / 768p 视频与混合立体声音频。
适用于多镜头叙事 · 动态图形 · 产品影片 · 参考引导动画
https://huggingface.co/Pika-Labs/Pika-H3-Flex#watch-the-model观看模型效果
探索镜头调度、电影叙事、平面设计与参考引导动画。播放带声音的片段;展开其提示词查看生成描述。
提示词Image 1 是完全相同的两名选手、服装、青蛙面具、乒乓球桌和已排干的泳池:请严格保持与 Image 1 一致。一场快速的乒乓球对拉,严格按照以下镜头运动拍摄:00:00–00:03 —— 从正上方俯拍的顶视镜头,与 Image 1 一致,对拉开始、球来回闪动;00:03–00:06 —— 一个流畅的摇臂从正上方垂直下降到球台高度,结束于球网旁,球从画面中掠过;00:06–00:09 —— 快速左右甩摇,跟随球越过球网,从一名选手到另一名;00:09–00:12 —— 绕着戴青蛙面具的选手做 180 度环绕,她跃起扣杀;00:12–00:15 —— 沿泳池池底的低角度后退轨道镜头,红运动服女子飞扑救球未果;青蛙举起双臂跳了一小段胜利舞;镜头稳定并保持定格。选手、球台和泳池全程保持一致且位置不变。写实 35mm 胶片质感,真实色彩,轻微自然颗粒,与 Image 1 匹配。速度至关重要:一切以正常实时速度运动,如同 24fps 素材以 24fps 播放 —— 自然动作,无慢动作。声音:球的急促 tock-tock 声、球鞋在水泥地上的吱吱声、扣杀声、她扑救时的闷响、空泳池中的回声、青蛙含混的欢呼。音乐:放克风、轻快的鼓与贝斯律动。 提示词一座高耸的白色现代主义公寓塔楼,背景是柔和的淡蓝色天空,带有淡淡的条状卷云。建筑位于画面右半部分,左半部分是开阔的天空。平滑的米白色外立面,带有粗白框的小方形窗户。建筑转角处垂直叠放着三个相同的悬挑混凝土阳台,每个都是厚实的白色板材,底部呈斜角楔形,配有由竖直栏杆组成的纤细白色金属栏杆。干净、平面化、极简的柔和 1970 年代胶片色调:粉笔白、粉蓝、柔和粉彩。三个人正在做缓慢、平静的晨间拉伸,每个阳台一人。他们始终处于轻柔的运动中,从不静止,但每个动作都缓慢、流畅、受控,如同瑜伽或太极:每个拉伸用三到四秒完成过渡,在结尾处轻缓收住,再不慌不忙地流入下一个动作。没有快速、抖动、骤然或挥舞的动作。优雅、从容、冥想式。顶部阳台:一位深色头发向后束起的年轻女子,身穿淡紫色毛绒针织上衣和同色系淡紫色阔腿针织裤。她缓慢地将双臂高举过头顶,然后逐渐将上半身向左侧弯出长长的弧线,轻缓回到中线,再慢慢向右倾。中部阳台:一位留着短深色头发的男子,身穿铁锈红运动服。他保持深度前屈、手掌触地,然后沿脊柱缓缓卷起站直,双臂在头顶画一个大而慢的圆。底部阳台:一位银灰色短发的年长女性,身穿钴蓝色短袖 Polo 衫和宽松米色长裤。她保持宽距战士弓步,双臂向两侧伸展,缓慢地将重心从一条弯曲的膝盖移到另一条,并轻柔地将一只手臂向上扫过头顶进入侧弯。每个人按自己从容的节奏运动,彼此略有错开,具有全身幅度的动作:针织衫和裤子随之拉伸并回落,呈现真实的平衡与重量感。镜头:一镜到底、无剪辑:0–3 秒:宽幅建立镜头。镜头开始绕塔楼转角缓慢平稳环绕,弧线约 40 度,阳台、建筑立面与天空之间形成强烈视差。3–5 秒:仍在移动,镜头强力推近中部阳台,直到穿红色运动服的男子独自充满画面,半身构图,正在拉伸中,前景为栏杆。5–7 秒:沿建筑立面向上稳定垂直升起,经过上方板材的混凝土底面,露出淡紫色女子正处在侧弯中。7–10 秒:快速而受控地垂直下降,经过中部阳台到达底部,露出年长女性正在弓步中切换重心。10–13 秒:平稳后拉并反向环绕,回到开场的宽幅构图,三人仍在积极拉伸。柔和漫射的日光,每块板材下方有轻柔的软阴影,无强烈直射阳光。35mm 胶片质感,颗粒细腻。稳定的摇臂/无人机运动,从不抖动。声音:仅限自然的环境现场音 —— 轻风掠过建筑、远处的城市嗡鸣、隐约的鸟鸣、轻柔的织物摩擦声。无音乐、无配乐、无演唱、无旋律、无节奏轨。无人声、无说话、无对白、无低语、无任何发声。 提示词一个 1990 年代美国多机位情景喜剧场景,完全如同 Image 1:明亮、平光的摄影棚客厅布景,略带录像带的柔和感,同一个穿红衣的女子。现场观众全程笑声不断。不同机位之间硬切。[镜头 1] 0–3 秒:全景。她端着一个漂亮的生日蛋糕走进客厅,放到茶几上;一只戴着派对帽的小狗坐在沙发旁,盯着蛋糕。(观众:“Aww。”)[镜头 2] 3–5 秒:中景。突然传来敲门声。她指着狗说:“待在这儿,别碰它。“然后走出画面去开门。[镜头 3] 5–9 秒:特写,锁定茶几:狗跳起来狼吞虎咽地吃掉蛋糕,奶油四溅,派对帽歪到一边,尾巴疯狂摇摆。(观众哄堂大笑。)[镜头 4] 9–12 秒:全景。她回来后愣住了:只剩下一小块蛋糕,狗满脸奶油,若无其事地坐回去,舔着嘴唇。她双手一摊,困惑不已:”……到底怎么回事?!“[镜头 5] 12–15 秒:特写。狗打了一个带着奶油的小饱嗝,歪头看她。她看向镜头,叹了口气。(大笑与掌声,情景喜剧过场音乐。)声音:摄影棚观众的笑声与掌声、敲门声、狗狼吞虎咽声和一个小小的饱嗝、欢快的 90 年代情景喜剧主题曲。仅有这两句台词。无字幕或其他文字。 提示词一个大胆的全出血动态图形,无画框、无边框、无纸张边缘 —— 设计铺满整个 16:9 屏幕。扁平瑞士/几何风格,颜色与形状严格对应 Image 1,边缘干净锐利。大幅运动,绝不静止,与强劲的 120 BPM 曲目节拍同步。0–3 秒:屏幕起初为单一纯色;几何色块在每个节拍上从四面猛冲入画,逐步搭建出 Image 1 的版式。3–7 秒:圆形滚过、三角形翻转、条纹滑入;一个由图形组成的人物跑过构图,每一步都盖印出一个新的色块。7–10 秒:字母 MOVE 逐个砸落,带有厚重的挤压与拉伸,随后完全静止;拼写必须完全一致。10–13 秒:除 MOVE 之外的一切向外爆开,并在节拍上弹回,重新排列成新的版式。13–15 秒:镜头快速推近并旋转 15 度进入 MOVE 中的 O,以纯色收尾。声音:强劲的电子节拍,每个图形出现时配一击。无其他文字。 提示词一个 15 秒的快速剪辑、高能量电影级产品广告,主角是来自参考图 1 的钴蓝色头戴式耳机(形状、颜色、网状头带、针织耳垫与金属铰链完全一致,无 logo),主题是深沉低音。剪辑方式如同高端科技发布影片:踩点快速硬切,每个镜头都是大胆、不同的电影化机位与镜头。影片的主体是耳机。没有玻璃、没有水、没有植物、没有其他道具。整支影片保持在干净无缝的粉蓝色影棚布景中;背景始终是干净的粉蓝色,绝不会出现墙角边缘或暗色影棚。镜头 1(0–2.5 秒):开场完全采用参考图 1 的构图 —— 相同的取景与角度,钴蓝色耳机将成熟的桃子夹在两个耳罩之间,置于粉蓝背景上。桃子完全静止、位置不动 —— 它不跳、不弹、不位移 —— 只在脉动:其表面随着每次深沉低音的撞击有节奏地微妙隆起与收缩,如同心跳,耳罩随之轻轻收紧。缓慢推近。镜头 2(2.5–4 秒):踩点硬切,桃子在余下影片中消失:快速变焦式极端微距横扫钴蓝色头带网面,织物随低音颤动。镜头 3(4–5.5 秒):极低的虫视仰角,广角镜头,仰望空无一物的耳机高耸于粉蓝背景前,快速轨道推进。镜头 4(5.5–7 秒):正上方俯拍缓慢旋转,耳机在粉蓝色上展开成完美的图形形状。镜头 5(7–8.5 秒):荷兰角微距,沿着抛光金属铰链与伸缩臂滑动,光线在金属上拉出光痕。镜头 6(8.5–10 秒):从前景柔软的针织耳垫到后方第二个耳罩的移焦,浅景深。镜头 7(10–12 秒):快速甩摇切入低角度跟拍,耳机滑过粉蓝色地面向镜头而来,大量运动模糊,落在 drop 上。镜头 8(12–13.5 秒):侧面剪影式轮廓角度,柔和的边缘光勾勒出头带曲线,慢动作。镜头 9(13.5–15 秒):摇臂下降到最终主镜头,空耳机独占画面,四分之三角度、粉蓝背景,停在最后一个节拍上。声音:深沉的次低音心跳脉冲逐渐发展为强劲、时尚的极简电子曲目,每次剪辑处有硬朗的撞击,并有一个大 drop。视觉:高端电影级美妆/科技广告质感,编辑化而精致,Jacquemus / Loewe 宣传片气质。柔和浅淡的真实色调背景衬托深饱和的主色,大面积柔和漫射光,阴影柔和但存在,低到中等对比度,奶油般高光,细腻的 35mm 胶片颗粒,浅景深,变形宽银幕质感。镜头始终处于大胆自信的运动中 —— 轨道、微距环绕、摇臂运动、快速移动时的运动模糊 —— 绝不静止。产品始终锐利清晰、易于辨识。镜头之间硬切,每个镜头角度与景别不同,从头到尾一条清晰的故事线。符合真实世界的物理规律。任何位置都没有文字、标题、字幕、logo。音频:无旁白、无对白,只有精致的广告配乐加上干脆、有触感的声音设计。 提示词参考:@Image1 是角色设定表(同一角色的正面、四分之三与背面视图)。@Image2 是环境。@Video1 仅作为运动参考。用 @Image1 中的角色,在 @Image2 的环境内,制作一段新视频,完全执行 @Video1 中人物的身体动作、编舞、节奏与镜头运动。不要从 @Video1 中取用任何其他东西 —— 不取用此人的脸、身体、服装、道具、地点、背景、颜色或摄影质感。保持角色与 @Image1 设计完全一致 —— 同样的脸、比例、服装、配色 —— 并以 @Image1 与 @Image2 的确切美术风格渲染整段视频,绝不写实。画面中只有一位角色。风格:带有黑色墨线轮廓、平涂色块、半调与孔版印刷颗粒的复古波普时尚插画,完全如 @Image1 与 @Image2 所示。Desmond 在 @Image2 中唱片店的陶土色棋盘格地板上起舞:与 @Video1 中相同的旋转、甩臂与踢腿,芥末黄西装外套在每次转身时扬起。当 @Video1 中的人物将盆栽蕨类高举过头时,Desmond 将他的黑胶唱片像舞伴一样高高举过头顶。他以双臂张开和一个略带冷面的鞠躬收尾。音频:唱机中播放的原创欢快 1960 年代灵魂乐律动,乐福鞋在地板上轻点与吱吱作响,轻柔的唱片沙沙声。正常实时速度,无慢动作。无文字、无字幕、无 logo。
提示词与输入素材 (https://github.com/Pika-Labs/Pika-H3-Flex/blob/main/docs/showcases.md)·样例元数据 (https://huggingface.co/Pika-Labs/Pika-H3-Flex/blob/main/assets/showcases/manifest.json)
这些是创意展示,而非发布验证渲染或吞吐量基准测试。使用发布包无法保证完全复现。
https://huggingface.co/Pika-Labs/Pika-H3-Flex#system-overview系统概述
Pika H3 Flex 属于同一个视频与音频模型家族,配备两个任务适配器:用于文本与首尾帧条件输入的 FL2VA,以及用于多模态参考输入的 Ref2VA。它基于 MiniMax-H3 (https://huggingface.co/MiniMaxAI/MiniMax-H3) 构建,可在六个采样步骤内生成带同步立体声音频的视频。
推理管线会编码提示词与输入媒体,通过所选的 Pika H3 Flex 适配器生成视频与音频隐变量,随后解码并合成一个 MP4。该软件包会自动下载锁定版本的基础组件与适配器。可使用提示词指南 (https://github.com/Pika-Labs/Pika-H3-Flex/blob/main/docs/prompt-guidance.md) 来描述场景、动作、对白、氛围与音乐;可选的提示词增强 (https://dev.pika.art/models/pika/pika-h3-flex/prompt-rewriter) 可通过 Pika API 使用。
https://huggingface.co/Pika-Labs/Pika-H3-Flex#input-and-output-specifications输入与输出规格
类别规格输入模态文本;首帧/尾帧图像;图像、视频与音频参考,取决于所选模式原生输出分辨率480p / 768p,覆盖全部 11 种支持的宽高比;精确像素尺寸遵循所选宽高比桶输出时长请求的 5–15 秒整数时长;实际长度遵循模型帧栅格输出宽高比21:9、16:9、3:2、4:3、5:4、1:1、4:5、3:4、2:3、9:16、9:21;尺寸使用软件包内置的分辨率桶输出帧率24 fps输出音频32 kHz 立体声,混入生成的视频中输出文件H.264 视频与 AAC 音频的 MP4,附带 JSON 生成元数据提示词输入文本或 UTF-8 提示词文件;1–8,000 字符采样使用发布适配器的采样调度进行六次生成器评估 时长会向上取整到支持的帧栅格:5 秒请求产生 124 帧(约 5.17 秒),15 秒请求产生 362 f
相似文章
@svpino:视频模型的迭代速度比我阅读相关内容的速度还快。Pika H3 Flex 是一款开源权重模型,走了一条不同的路:…
Pika H3 Flex 是一款新发布的开源权重视频生成模型,主打专业迭代工作流,可在 7 秒内生成 15 秒带音轨的视频,支持导出音频分轨、最高 4K 分辨率的草稿模式,以及对角色、声音和运镜的后期编辑。
Pika H3 Flex 正式发布(阅读约6分钟)
Pika 推出 H3 Flex,这是一款基于 MiniMax H3 微调的文生视频模型,仅需六步即可生成(此前需 50 步),支持最多 12 个参考文件,可导出五条独立音轨,输出分辨率最高达 4K,并以开放权重形式发布——在 DesignArena 排行榜上位居开放权重模型第一名。
FastH3-Omni:最佳开源 H3 模型
MiniMax 与 Hao AI Lab 推出开源 H3 模型 FastH3-Omni,支持文本、音频和图像输入,实现快于实时的视频生成。
@laowangbabababa: 震惊了,抖音上祁博士一天卖 50w 的数字人 agent,我2 分钟就开发完成了。 用的就是Pixelle-Video这个项目,已经22k stars。包括数字人口播、动作迁移、图生视频全支持。 支持ComfyUI,输入主题,从写脚本到加…
介绍开源项目Pixelle-Video:一个全自动AI短视频引擎,输入主题即可自动生成带文案、配图、语音和背景音乐的视频,支持本地和云端模型,模块化设计可灵活替换各环节模型。
Fish Audio Drama 3 技术报告
Fish Audio 发布开源语音生成模型 Fish Audio Drama 3 的技术报告:基于 35B 参数混合专家骨干(每 token 激活 3B),支持多参考语音克隆、自然语言导演指令、多轮修订、多人场景配音、编辑式填充、长音频与流式合成,单张 H200 推理速度达 271 帧/秒。