@kwindla: Pipecat v1.8.0 今日发布,提供对 Gemini 3.5 Transcribe 的首发支持,这是 Google 基于 Gemini 的全新转录模型。

X AI KOLs Timeline 工具

摘要

Pipecat v1.8.0 已发布,包含重大更新,如支持 Gemini 3.5 Transcribe、改进的错误处理、更快的管道启动以及多种新集成。

Pipecat v1.8.0 今日发布,提供对 Gemini 3.5 Transcribe 的首发支持,这是 Google 基于 Gemini 的全新转录模型。 这是一个非常大的 Pipecat 版本。变更日志中有 233 个条目。 一些亮点: 改进的错误处理和服务故障转移:处理器现在可以报告何时不再可用,错误被分类,ServiceSwitcher 仅在服务确实无法恢复时才进行故障转移。STT/TTS 服务也停止了对永久性故障(如无效 API 密钥或模型)的无尽重试。 更快的管道启动:管道设置围绕新的 setup() 生命周期进行了重新设计,允许处理器和服务在管道启动前并行初始化和连接。结合导入时的改进,这显著减少了启动时间,尤其是对于较大的管道。 更灵活的轮次管理:内置轮次检测的服务现在提出轮次边界,而 Pipecat 的轮次策略做出最终决定。这将轮次管理和中断处理集中在一处,并使供应商原生轮次检测更易于自定义。 Pipecat Evals 越来越强大:在开发过程中运行场景,以迭代测量通过率,获取机器可读的 results.jsonl,单独评估轮次,运行整个目录的场景等。非常适合测量非确定性行为,如中断和异步函数调用,而不是仅测试一次并寄希望于最佳结果。 更好的编码代理体验:Pipecat Context Hub 现已包含在 CLI 中,并集成到 pipecat init 中,包括对支持的编码代理的自动设置和新鲜度检查,以帮助防止代理使用过时的 Pipecat API 生成代码。 函数调用现在可以由 LLM 取消:长时间运行的异步工具可以选择启用 LLM 驱动的取消,超时的函数调用现在会自动取消,而不是继续在后台运行。 新的 Speechify TTS、ElevenLabs Dialogue TTS、Bland TTS、Sarvam Realtime STT、Deepgram Flux on SageMaker、OpenClaw Gateway 支持、LiveKit 运行器支持、MoQ 客户端模式用于通过中继连接机器人,包括 NAT 后面的部署等。 当然,整个框架中有大量的修复和较小改进,包括管道启动/清理、指标、TTS 跟踪、传输、实时服务和轮次处理。 非常感谢社区中的每一个人,使我们所做的一切成为可能!现在有超过 180 个 Pipecat 集成。 快乐编程!
查看原文
查看缓存全文

缓存时间: 2026/08/27 21:41

Pipecat v1.8.0 今日发布,首日即支持 Google 基于 Gemini 的全新转录模型 Gemini 3.5 Transcribe。

这是一次重大的 Pipecat 版本更新,更新日志包含 233 项条目。

主要亮点包括:

错误处理与服务故障转移的改进: 处理器现可报告自身不再可用的状态,错误分类更加清晰,且 ServiceSwitcher 仅在服务确实无法恢复时才会执行故障转移。STT/TTS 服务也不会再对无效 API 密钥或模型等永久性错误进行无尽重试。

更快的流水线启动速度: 流水线设置已围绕新的 setup() 生命周期进行重构,允许处理器和服务在流水线启动前并发初始化和连接。结合导入时间的优化,这显著减少了启动时间,尤其对于大型流水线效果更为明显。

更灵活的轮次管理: 内置轮次检测的服务现在会建议轮次边界,而 Pipecat 的轮次策略则做出最终决定。这使得轮次管理和中断处理得以统一,并让提供商原生的轮次检测更易于自定义。

Pipecat Evals 功能更强大: 开发过程中即可运行场景,以迭代方式测量通过率,获取机器可读的 results.jsonl 结果文件,单独评估轮次,运行整个场景目录等。这对于测量中断和异步函数调用等非确定性行为非常有用,无需仅测试一次然后祈祷效果良好。

更好的编码智能体体验: Pipecat Context Hub 现已包含在 CLI 中并与 pipecat init 集成,包括为支持的编码智能体提供自动设置,并执行新鲜度检查以帮助防止智能体基于过时的 Pipecat API 生成代码。

LLM 现可取消函数调用: 长时间运行的异步工具可以选择启用 LLM 驱动的取消,超时的函数调用现在会自动取消,而不是继续在后台运行。

新增多种服务支持: Speechify TTS、ElevenLabs Dialogue TTS、Bland TTS、Sarvam Realtime STT、SageMaker 上的 Deepgram Flux、OpenClaw Gateway 支持、LiveKit 运行器支持、用于通过中继连接机器人的 MoQ 客户端模式(包括 NAT 后部署)等。

当然,框架中还有大量修复和较小的改进,涵盖流水线启动/清理、指标、TTS 跟踪、传输层、实时服务和轮次处理等方面。

衷心感谢社区中的每一位成员,是你们让这一切成为可能!Pipecat 集成现已超过 180 个。

祝编码愉快!

相似文章

Gemini 3.5 Transcribe 智能转录

Google DeepMind Blog

Google 推出 Gemini 3.5 Transcribe,这是一款新的 AI 模型,提供精确且智能的实时语音转文本转录,开发者可通过 API 获取。

Gemini 3.5 Transcribe

Product Hunt

Gemini 3.5 Transcribe 被宣布为目前最精确的语音转文本模型,并在Product Hunt上提供了讨论链接。