标签
作者使用 Parakeet STT、Qwen 2.5 7B 和 Qwen3-TTS 构建了一个本地实时语音栈，并与 Ollama 集成。
VideoSDK AI Agents 是一个开源 Python 框架，用于构建生产可用的实时语音和多模态 AI 智能体，这些智能体可以以参与者身份加入 VideoSDK 房间，支持统一 Pipeline 配置和多种执行模式。
ByteDance发布了SeedRealtime，这是一个原生音视频模型，能够处理连续的视频、音频和文本，同时进行实时语音输出。
一位开发者询问人们在生产环境的语音智能体中使用哪些 STT API，比较了 Deepgram、AssemblyAI 和 Smallest AI Pulse，并指出了常见的故障点，如端点检测、延迟和打断。
OpenAI 描述了如何构建 GPT-Live，一个全双工实时语音 AI 系统，它消除了轮流检测器，实现了自然的连续对话。文章详细介绍了六个月内推理、上下文管理和媒体传输方面的架构改进。
Hologram 是一个在浏览器中运行的 Elixir 框架，2025 年发布了四个功能更新，将 Elixir 的大部分标准库移植到了客户端，增加了 JavaScript 互操作、实时层以及更紧密的本地优先同步能力，并获得了社区的强力支持。
MOSS-VL-Realtime 是一个实时流式视觉语言模型，能够处理连续视频帧，支持可中断交互、主动静默和动态修正，具备时间戳感知编码和256K上下文窗口。
一位开发者描述了构建一个多智能体语音社交推理游戏的过程，通过一个中央指挥解决了轮流发言问题，但在共享记忆以及在将对话历史压缩为结构化状态时保留社交潜台词方面遇到了困难。
Flowcat解决了实时语音模型的高成本和有限上下文问题，实现了成本降低4倍、上下文增加7倍的效果。
VikParuchuri 宣布推出 turbo mode 数据提取，声称速度比 Azure Content Understanding 快 5 倍，成本低 5 倍，准确度提高 7%，并且实现了具有竞争力的延迟，适用于实时工作流。
parakeet.cpp 能够在本地的 OpenAI API 背后运行 NVIDIA Parakeet ASR，提供预构建的 Docker 镜像，支持 CPU 和 CUDA（包括 arm64），实现带有词级时间戳的实时转录。
Simon Willison 更新了他的 OpenAI WebRTC 音频会话工具，以支持新的 GPT-Realtime-2 模型，并增加了文档上下文功能，用于对话式音频讨论。
NVIDIA 发布了 Nemotron 3.5 ASR，这是一款开源的多语言语音转文字模型，在测试中延迟最低，提供多语言和纯英文两个版本，非常适合语音助手和自托管部署场景。
作者介绍了一个实验性项目 Hey Codex，这是一个实时对话版的 Codex，允许用户在开车等场景下通过语音与 Codex 交互进行 Vibe Coding。
一套AI系统将鸟类鸣叫转化为三维可视化，实时将频率和调制数据转换为彩色点簇，在工业和医疗异常检测中具有潜在应用。
作者描述了构建FlashRT的过程，这是一个以CUDA为核心的推理运行时，通过使用C++/CUDA内核重写模型推理路径，来解决小批量/实时工作负载中超出GEMM的瓶颈，在Jetson Thor和RTX 5090上实现了显著的延迟改进。文章讨论了关于精度的经验（FP8有帮助，FP4好坏参半）以及绕过通用运行时进行实时推理的必要性。
OpenAI发布了GPT-Realtime-2语音模型，具备GPT-5级别的推理能力和128,000 token上下文窗口，支持实时翻译70多种语言到13种输出语言，在Big Bench Audio Intelligence评测中达到96.6%准确率，Greg Brockman称其为语音翻译领域的里程碑。
OpenAI 发布了 gpt-realtime-2，一款新的语音到语音模型，针对实时语音代理交互和低延迟工具调用进行了优化。