@DanKornas：构建实时语音智能体需要协调音频流、轮次检测、中断、模型调用和媒体路由…
摘要
VideoSDK AI Agents 是一个开源 Python 框架，用于构建生产可用的实时语音和多模态 AI 智能体，这些智能体可以以参与者身份加入 VideoSDK 房间，支持统一 Pipeline 配置和多种执行模式。
查看缓存全文
缓存时间: 2026/08/07 08:50
构建实时语音智能体需要在同一会话中协调音频流、轮流检测、打断、模型调用和媒体路由。
VideoSDK AI Agents 是一个开源的 Python 框架，用于构建生产级实时语音和多模态 AI 智能体，这些智能体以参与者身份加入 VideoSDK 房间。
你可以使用所需的组件配置统一的 Pipeline，框架会连接智能体生命周期、实时媒体处理，以及合适的级联（cascade）、实时（realtime）或混合（hybrid）执行模式。
主要特性： • 实时房间参与：智能体可以在会议中实时收听、说话和交互，同时框架负责加入、实时音频处理及干净利落的收尾。 • 统一的 Pipeline 配置接受 STT、LLM、TTS、VAD、轮流检测和虚拟形象组件，然后自动选择最佳执行模式。 • 级联模式将 STT → LLM → TTS 提供者组合起来，实现自定义转录、模型和语音选择。 • 实时和混合模式支持单个统一实时模型，或外部 STT 与实时 LLM 及自定义 TTS 的组合。 • 基于装饰器的 Pipeline 钩子可以拦截并转换 STT、LLM、TTS、视觉帧以及用户或智能体轮流事件，而无需子类化。
README 将 VideoSDK AI Agents 描述为一个开源 Python 框架。
链接在回复中。
相似文章
@DanKornas: 实时语音智能体需要的不仅仅是 LLM 调用——它们还需要传输、语音组件、通话处理以及部署路径。
TEN 是一个用于构建实时多模态对话式 AI 智能体的框架，提供可配置的 STT、LLM 和 TTS 组件、可视化设计器，以及包括自托管和拆分部署在内的部署选项。
livekit/agents
LiveKit Agents 是一个用于构建实时、多模态语音智能体的开源框架，这些智能体能够看、听和理解，并具备灵活的 STT/LLM/TTS 集成、任务调度、电话支持、MCP 兼容性以及内置测试框架。
使用MediaPipe读取面部表情并实时调整语音的开源智能体
Vision Agents 是一个开源Python框架，用于构建处理实时视频和音频的多模态AI智能体。它利用MediaPipe使对话智能体能够根据面部表情和目光方向调整语音。
@svpino: 用一百行Python代码打造的专业语音代理。听听这个代理如何说话：这是最优秀的、类人…
一位开发者演示了如何使用LiveKit、Rime和gpt-4o-mini在大约100行Python代码中构建一个专业语音代理，展示了高度类人的语音和语调。
@AISuperDomain: 实时语音 Agent 正在从“演示玩具”走向真正可用，而 LiveKit Agents 可能是目前最完整的开源框架之一。 它不只是把 STT、LLM 和 TTS 串起来，还直接提供： • WebRTC 实时音视频 • 电话呼入与呼出 • …
LiveKit Agents 是一个开源的实时语音 Agent 框架，支持 WebRTC、电话集成、语义轮次检测、MCP 工具调用和多 Agent 交接，帮助开发者快速构建 AI 客服、电话机器人等实时语音应用。