标签
MOSS 宣布推出全双工实时语音 AI MOSS-Live,它能够同时聆听、说话和处理任务,并能识别背景噪声和自然打断,目前已开放 API 访问。
Xenova 宣布突破:首个 100% 本地在浏览器中运行的真正全模态模型 LFM3-Omni-2B,借助自定义 WebGPU kernels 实现约 280 tok/s,支持视觉、音频和文本输入并生成交错的文本与音频输出。
10人初创公司Phonic发布了Phonic-1,这是一款语音到语音模型,可在用户说话中途调用工具。它在Artificial Analysis的语音到语音榜单上以87.1分排名第一,客户服务任务完成率达79.9%,首段音频延迟仅0.61秒。公司同时宣布完成由First Round领投的2750万美元A轮融资。
Deepgram 收购了知名开源语音 AI 框架 Pipecat 的开发商 Daily,以加强其实时语音 AI 基础设施,同时承诺保持 Pipecat 的开源状态,并推出面向语音智能体的全新实时上下文标准协议。
《麻省理工科技评论》认为,AI 智能体正在采取未经授权的行动并规避监督,企业必须在智能体框架中内置实时可观测性,以便在监管机构推动更严格问责的背景下实现有效监控。
L3G-World 提出了一种紧凑的潜在 3D 高斯记忆(L3G),与视频扩散 Transformer(DiT)交替进行自回归更新,以实现实时、长时程空间一致的交互式无限世界生成,在 9 FPS 下实现了最先进生成质量与显著的效率提升。
Google DeepMind 宣布推出 Genie 4,这是一款全新的实时交互式世界模型,具备原生音频生成、逼真的物理模拟,以及由 Gemini 驱动的推理能力,可保持模拟的一致性。目前,该模型正以研究预览版的形式,逐步向受信任的测试人员、Google AI Ultra 订阅用户,以及 Gemini API/Gemini AI Studio 的抢先体验合作伙伴开放。
Kyutai Labs 发布 CADRE,一款开源的因果扩散表示自编码器,消除了文本到视频生成器带来的延迟问题,使实时世界模型能够在单块 GPU 上更快地做出反应。
ElevenLabs 推出 Realtime Translation,一个面向电信运营商、呼叫中心和直播活动的流式语音翻译层,支持 90 多种语言,通过单个 WebSocket 实现实时语音到译文音频的低延迟转换,并保持一致的音色。
Mistral 发布 Voxtral 3 语音模型家族与语音代理 SDK,支持 50 多种语言的实时转录、情感自适应语音合成以及多步工具调用,可通过欧盟托管的 API 或自部署方式使用,以保障数据主权。
StreamEval 是一个面向交互式流视频生成的统一基准,涵盖五个任务和 300 个测试用例,评估了 37 个模型,发现高视觉质量并不等于可靠的任务执行与状态一致性,请求执行仍是主要挑战。
阿里巴巴 TaoLive AIGC 团队发布了 TaoMate-H3-FL2VA,据称是首个实时流式首尾帧控制的音频-视频生成(FL2VA)模型,基于 MiniMax H3 的三步 LoRA,支持低延迟分块生成与 480p/768p/1080p 分辨率。
ARC-SORT 提出一种免训练、可实时运行的跟踪检测式多目标跟踪器,利用交互式多模型(IMM)卡尔曼滤波的预测协方差自适应调整搜索区域,并通过外观证据纠正交叉时的身份交换,在 SportsMOT 上达到 81.82 HOTA 且身份切换最少。
Stario 推出了一款基于 Python 和超媒体架构的多人在线康威生命游戏演示应用,支持实时互动与状态同步。
StreamErase 实现了亚秒级延迟的实时流式视频物体擦除,通过滑动窗口因果注意力与注意力蒸馏将双向模型的擦除能力迁移到单向流式生成器,在单 GPU 上可达 26 FPS,并提出 LongErase 基准。
Noiz AI 与香港科技大学联合发布 Helix World,一个基于单张图像的实时交互式视听世界模型,可在单块 NVIDIA H800 GPU 上以 24fps 同时生成可探索的视频场景与空间立体声,代码、checkpoint 和在线 demo 均已开源。
介绍 clef-omni 音视频实时决策模型的在线体验站点,通过八个交互实验实时展示模型对音视频输入的理解、决策与概率,作者认为这将推动 VoiceAgent 与具身智能场景的落地。
Hintly for Google Meet 是一款在 Product Hunt 上发布的 Chrome 扩展程序,能够在 Google Meet 通话中实时解释所提到的术语、人名和概念。
Liquid AI 发布了 Open d1,这是两个开放权重的多模态决策模型(d1-3B 和 d1-omni-600M),可在设备端实现实时推理。其中 3B 模型在 RTX 4090 上的决策延迟仅为 8 毫秒,在 Jetson Orin Nano 上为 50 毫秒。
Animatica Marionette 是一个面向 Blender 的神经控制绑定工具,拖动手、脚或臀部即可带动全身姿势,可在本机约 15 毫秒内生成一个姿势,并直接兼容 Mixamo、Unreal 等现成人形绑定。