Gemini Omni 1.1 Flash 让你在构建时拥有更多控制权

# Gemini Omni 1.1 Flash 让您拥有更多掌控力进行构建 来源：https://blog.google/innovation-and-ai/technology/developers-tools/build-with-gemini-omni-1-1-flash/ Omni 现可提供工作室级的视频制作功能，包括场景扩展、首尾帧插值、清晰的 4K 升采样、更快的原型构建等能力。 --- Alisa Fortin 产品经理，Google DeepMind --- “Gemini Omni 1.1 Flash 可通过 API 获取”文字周围环绕着人物与松鼠的各种图片 您的浏览器不支持音频元素。 收听文章 \[\[时长\]\] 分钟 此内容由 Google AI 生成。生成式 AI 仍处于实验阶段 今天，我们推出 Gemini Omni 1.1 Flash，这是一套新的创意控制功能和生成式视频能力，旨在为开发者提供支持。Gemini Omni (https://deepmind.google/models/gemini-omni/) 为生成式创作带来了真实世界的推理能力，而今天的更新使 Omni 1.1 可通过 Google AI Studio 中的 Gemini API 投入专业用途，达到生产就绪状态。 无论您正在构建生成式视频工作流、创意工具还是媒体编辑软件，这些更新都使生成式视频更具可控性、迭代更快速，并为实际部署做好了优化。以下是新功能概览： ## 扩展场景以实现更长的叙事 场景扩展允许您获取现有视频，并从其停止之处无缝继续生成画面。 借助 Omni 1.1，模型现在可以分析长达 10 秒的先前上下文——相比之前只能参考最后一秒的模型是一次飞跃。这提升了视觉一致性和叙事连贯性，使您能够构建更长的故事或探索新的创意方向。您可以以 10 秒为增量扩展视频，总累计长度可达 40 秒。 以下是您如何使用 Gemini API 扩展场景的示例： `` from google import genai client = genai.Client() interaction = client.interactions.create( model="gemini-omni-1.1-flash", previous_interaction_id=previous_video_interaction.id, input=[ {"type": "text", "text": "继续这个场景。"} ], response_format={ "resolution": "360p", }, ) `` ## 指定首帧与尾帧 通过指定镜头的起始帧和结束帧，实现平滑的转场和摄像机运动。Omni 1.1 在两个关键帧之间生成连续的视频，使其非常适合复杂的镜头环绕、变焦转场或无缝循环片段。 提示 1：一位身着米色西装的时尚鼓手在宏伟大厅中演奏红色架子鼓的低角度特写镜头，随着摄像机快速摇镜转向一侧，揭示一位年长的萨克斯管演奏者，旁边是一位在柔和紫色舞台灯光下身着白色服装旋转的芭蕾舞者。连续镜头，无跳切。 提示 2：摄像机推近电视屏幕，我们看到与开头相同的女性和场景。无缝视频。连续镜头，无跳切。 ## 以 360p 分辨率更高效地生成草案 以 360p 分辨率生成轻量级预览，速度比 Omni 1.1 标准 720p 分辨率快高达 60%*，成本仅为其三分之一。这有助于在开发者平台中进行快速原型设计、故事板迭代和快速渲染。 *\*基于 360p 与 720p 分辨率的系统吞吐量对比，生成速度最快可提升 60%* 提示：虹彩海洋硅藻的显微视图，展示精致、玻璃般的硅质外壳，具有令人惊叹的自然对称性。色彩从深火山琥珀、温暖的铜色到鲜艳的绿松石和紫罗兰色不等，模仿了地球与海洋的丰富调色板。微小而精致的结构在干净的暗色背景前柔和地发光。高保真科学成像，细节清晰，纹理有机，微距摄影。在整个视频中保持显微镜镜头效果。 ## 升采样至最高 4K 分辨率 使用 Omni 1.1 生成精美、高分辨率的 1080p 或 4K 输出，直接可用于专业制作。 提示 1：鱼群游动，跟踪镜头 提示 2：一只小花栗鼠从屏幕左侧的树林中窜出，好奇地嗅了嗅空气，然后从右侧跑出画面 提示 3：电影感微距特写，鲜艳的金橙色日本枫叶在纤细的枝条上，在柔和、有节奏的秋风中轻轻沙沙作响、摇曳。阳光穿过半透明的叶片，营造出温暖、发光的效果。浅景深，梦幻散景背景，超精细纹理，照片级真实感，4K。 ## 在多模态输入中添加视频参考 在构建场景时参考最多三秒的视频，允许您基于视频参考保持视觉上下文和角色一致性。 提示：使用上传的三个舞者视频，并用提供的角色替换他们。让他们根据参考视频表演各自的舞蹈，全部一起在提供的图片所示的大型开放空间中进行。 狗狗角色 dog.png 应跳 dance3.mp4 中的古典舞。章鱼 octo.png 应跳 dance1.mp4 中的嘻哈舞，熊 bear.png 应跳 dance2.mp4 中的霹雳舞。最终结果应为一个连续镜头，无场景切换。 ## 激发您构建的创意灵感 以下是一些想法，展示开发者如何在自定义工具和创意工作流中应用这些新功能。 ## 了解客户如何将 Omni Flash 投入生产 我们的客户已通过 Agent Platform API 使用 Gemini Omni Flash 驱动实际生产。请查看下方他们创作的视频，并了解他们如何使用该模型。 ## 立即使用 Gemini Omni 1.1 Flash 进行构建 Gemini Omni 1.1 Flash 的定价表。 一张包含 Gemini Omni 1.1 Flash 模型定价数字的表格。 Omni 1.1 正在 Google 开发者生态系统中逐步推出： - **在 Google AI Studio 中开始构建：**直接在 Google AI Studio (https://aistudio.google.com/prompts/new_chat?model=gemini-omni-1.1-flash) 中试用 Omni 1.1。 - **在 Gemini Enterprise Agent Platform 上构建**：企业可以通过 Agent Platform API (https://docs.cloud.google.com/gemini-enterprise-agent-platform/models/gemini/omni-1-1-flash) 直接使用 Omni 1.1 进行构建。 - **探索开发者文档：**查看官方文档 (https://ai.google.dev/gemini-api/docs/omni)、代码指南 (http://colab.research.google.com/github/google-gemini/cookbook/blob/main/quickstarts/Get_started_Omni.ipynb) 和提示词指南 (https://ai.google.dev/gemini-api/docs/omni#prompt-guide)，了解如何将场景扩展、视频参考和升采样功能集成到您的应用程序中。 Omni 1.1 今日起也向全球所有 Google AI Plus、Pro 和 Ultra 订阅用户开放，可用于 Google Flow (https://blog.google/innovation-and-ai/models-and-research/google-labs/new-creative-controls-google-flow/)。场景扩展功能现向全球所有 Gemini 应用 (https://gemini.google.com/) 中的 Google AI Plus、Pro 和 Ultra 订阅用户开放。 ## 获取 Google 最新资讯直达您的收件箱 订阅我们的新闻通讯，获取产品更新、活动信息、特别优惠等。 您的信息将根据 Google 的隐私政策 (https://policies.google.com/privacy) 使用。您可以随时选择退出。