Gemini 实时音频
摘要
Google 推出了 Gemini 3.8 Live 和 3.8 Live Extended Thinking 这两款新的语音到语音AI模型,作者利用这些模型开发了一个用于语音对话的网页界面工具。
暂无内容
查看缓存全文
缓存时间: 2026/09/16 02:44
# 工具:Gemini Live 音频
来源:https://simonwillison.net/2026/Sep/15/gemini-live/
今日,谷歌发布了Gemini 3.8 Live与3.8 Live扩展思考版本(https://blog.google/innovation-and-ai/models-and-research/gemini-models/gemini-3-8-live-gemini-3-8-live-extended-thinking/)——这两款新的语音转语音模型与OpenAI的GPT-Live(https://openai.com/index/introducing-gpt-live/)系列形态相似。
我指导GPT-6 Astra Extra High研究文档,并让它为我构建了这个网页界面(https://gist.github.com/simonw/067b7430c5b1f743af9419b0184c38ef),用于试用新模型。你可以选择模型与语音预设,输入可选的系统提示,然后通过浏览器开始语音对话,甚至能在模型说话时进行打断。
一个语音聊天网页界面的截图,带有对话记录。顶部按钮:开始会话、结束会话、麦克风静音,外加麦克风音量指示器和显示0:33的计时器。状态:正在聆听。使用耳机以减少回声。开始会话时会请求麦克风权限。对话记录(带有下载记录和清除按钮)。Gemini:是的,运行完美。我能清晰听到您。今天能为您做些什么?您:好的,这相当不错。请告诉我一些关于加州褐鹈鹕的有趣事实。Gemini:它们以壮观的俯冲捕鱼方式闻名,拥有巨大的喉囊,最多可容纳三加仑的水和鱼类。它们在濒危后也实现了伟大的恢复——标注为“已打断”。您:不,请告诉我其他事实。Gemini:它们在离岸岛屿上群居筑巢,喉囊最多可容纳三加仑的水。界面底部是一个文本输入框,显示“或输入消息...”,带有发送按钮,以及说明:发送消息会打断当前的回复。记录可能包含在播放前被中断的语音。
该实现(https://github.com/simonw/tools/blob/main/gemini-live.html)未使用任何库。它连接到`wss://generativelanguage.googleapis.com/ws/google.ai.generativelanguage.v1alpha.GenerativeService.BidiGenerateContent?key=...` WebSocket端点,并使用Web Audio API的`AudioContext`进行捕获与播放。
以下是入门WebSocket API的Gemini Live教程(https://ai.google.dev/gemini-api/docs/live-api/get-started-websocket)。
相似文章
推出 Gemini 3.8 Live 与 Gemini 3.8 Live Extended Thinking
Google 推出 Gemini 3.8 Live 和 Gemini 3.8 Live Extended Thinking,这是一组先进的AI模型,专为实时推理和语音代理设计,在各项基准测试中均取得了最高分。
Gemini 3.8 Live 和 3.5 Transcribe(1分钟阅读)
Google 发布了新的 Gemini 模型,包括 Gemini 3.8 Live 和 3.5 Transcribe,旨在增强实时语音应用,为开发者提供改进的对话式 AI 和多语言转录功能。
Gemini 3.1 Flash Live:让音频 AI 更自然、更可靠
Google 发布了 Gemini 3.1 Flash Live,这是一款全新的高质量音频模型,专为更自然、更可靠的实时语音交互而设计,具备更低的延迟和更强的推理能力。
Gemini 3.1 Flash TTS
Google 发布了 Gemini 3.1 Flash TTS,这是一个新的文本转语音模型,可通过 Gemini API 访问,支持基于提示的高级控制,以实现详细的语音方向、口音和说话风格。该模型能够生成复杂的音频,包括多说话人对话和特定角色的语音表演。
Gemini 音频模型升级,打造更强大的语音体验
Google 更新了 Gemini 2.5 Flash Native Audio,以提升实时语音智能体的能力,包括更精准的函数调用、更好的指令遵循能力,以及更流畅的对话上下文检索。此次更新还在 Google Translate 应用 beta 版中引入了实时语音翻译功能,可在 70 多种语言中保留语音语调。