标签
JPEG XS（ISO/IEC 21122）是一种图像和视频编解码器，提供视觉上和数学上的无损质量，同时具有低延迟和低计算复杂度，面向专业 IP 视频、广播、VR、无人机和自动驾驶汽车等应用场景。
Liquid AI 发布了 d1-2B，这是一款基于 LFM3-VL-2B 构建、拥有 19.2 亿参数的决策模型，可处理文本、图像和视频。它无需生成 token，仅通过一次前向传播即可返回经过校准的类型化答案，实现毫秒级推理，并在开放的 d1 基准测试中取得领先成绩。
Falcon是一个因果音视频目标说话人提取模型，利用唇部视频在嘈杂、重叠语音环境中分离目标说话人声音，相较于因果AV-TFGridNet参数量减少91.9%，延迟降低11.1倍。论文还提出了RealSSA基准数据集，涵盖仿真和真实录制的声学场景，并包含多种干扰条件。
OpenAI 正式向所有用户开放其 Decisions API，基于 ChatGPT Luna 重新配置以实现超低延迟与低成本推理，直接与 TypeSafe 的 Jev 等决策模型展开竞争。
OpenAI宣布Decisions API正式可用，基于GPT-6 Luna，面向有界答案的快速决策场景，速度比通过Responses API调用GPT-6 Luna快达10倍，并新增GPT-Live原生集成、提示缓存与推理驻留等功能。
腾讯混元发布 Hy-SimulMT-30B-A3B-FP8 实时同传模型，支持中英双向语音到语音翻译，具备实时语音克隆能力，在长音频评测中实现约3秒的最低延迟。
LEAF 提出首个 LUT 感知的 Transformer/linformer 架构，面向 FPGA 上的超低延迟推理，在喷注标记基准上以更少 LUT 资源实现更高精度，适用于 CERN 等实时系统。
qev-0.8b 是一个 0.8B 参数的本地决策模型，只需一次前向传播即可对任意输入输出经过校准的概率。在 Benchmark Heaven 上以 77.1% 的成绩在 27 个同规模模型中排名第一，p50 延迟仅 3.5 毫秒，在笔记本上运行仅占用 1.3 GB 内存。提供 CUDA、MLX 和 GGUF 三种格式，并能泛化到训练中从未见过的游戏（俄罗斯方块、吃豆人、2048、打砖块、打地鼠）。
DeepSeek 将其内部生产级推理框架 DeepInfer 完全开源，该框架用于驱动 DeepSeek-V4.1-Flash 模型，强调高吞吐与低延迟；同时还开源了 deepseek-recipe 组件以保证社区部署与官方 API 行为一致。
VoiceManager 是一个低延迟的流式语音到语音（STT/TTS）本地服务器，通过单一 WebSocket 进行流式传输，支持带打断（barge-in）的多轮对话；HermesConsole 则是一个 LCARS 风格的 Kotlin 客户端参考实现，展示唤醒词、流式语音回复、工具调用及会话上下文保持等功能，采用 MIT 协议开源。
StyleStream 2.0 是一个快速且可控的流式语音风格转换框架，通过 few-step MeanFlow 模型和自回归反馈微调将端到端延迟降至 520ms，并借助统一的文本条件流匹配模型支持文本驱动的语音设计与指令式语音编辑。
LiveKit 打破了此前 AI 无法实现直播毫秒级双向实时交互的限制，潜力巨大，可广泛应用于电商、直播、智能助手、远程医疗、客服呼叫中心、实时翻译、游戏 NPC 等场景。
Reflection 的美国制造开源权重模型 Beam 此前以 stealth/cat-jam 名义运行，现已在 Vercel AI Gateway 上限时免费提供，主打低延迟，可接入 Eve agents 和编码工具使用。
Pipecat Labs 发布 PhoneLLM Alpha 2，推出 Mini（30B/A3.5B MoE）与 Max（120B/A12B）两款开放权重语音代理文本模型；Max 引入单句「微思考」推理，在 PhoneBench 上以 83.0% 得分超越 Claude Sonnet 5.5、Gemini 3.6 Flash 与 GPT-5.6 等模型，同时保持 200ms 以下的首响应延迟。
字节跳动和复旦大学的研究人员推出了 ByteExpress，这是一种基于 RDMA 的软件通信层，用于大规模参数服务器推理和训练。据报告，在生产部署中，与 TCP 相比，其 P99 推送延迟最多降低了 74%，并显著节省了 CPU 资源。
微软发布 Microsoft-Decision-1，一个专为快速决策打分设计的模型，可用于路由、分类、优先级排序与工作流控制，基于 Qwen3.5-9B 后训练，在 36 项基准测试中取得最高准确率，延迟比 GPT-6 Sol 快约 35 倍。
eth68 是一款 1U 机架式以太网音频接口，面向 Linux 平台，在 STM32H7 上运行定制的裸机固件，在 48 kHz 采样率下实现 3.620 ms 的往返延迟，并支持多单元同步，可在不增加延迟的情况下扩展通道数量。
Speakrail 是一个开源、完全本地运行的全双工语音助手，仅需单张 RTX 4090 即可运行。它结合了 Voxtral Mini 4B 负责流式语音识别与说话人轮次管理、Gemma 4 12B LoRA 负责可被打断的对话决策，以及 Breeze TTS 2 负责语音输出，实现了约 0.7-0.8 秒的回复延迟中位数，并在 Full-Duplex-Bench 对话动态评测中取得开放权重模型的最高分。
.wave 团队推出了一款推理引擎，采用 Wave Persistent Kernel 编译器，以 $0.00045/分钟 的价格提供 NVIDIA Nemotron 3.5 ASR Streaming 服务，在单块 H100 上支撑 4,800 路并发流，p99 帧完成时间低于 106.3 ms——约为 NVIDIA 公布的流处理容量的 20 倍，而价格仅为竞品 ASR 服务的一小部分。
作者分享为电话语音机器人调优对话轮替（turn-taking）的经验：单靠 VAD 静音阈值不够，需结合 STT 的部分文本判断句子是否完整，再配合 TTS 延迟一起调试，才能让机器人响应更自然。