标签
NVIDIA 发布 Cosmos3-H-Dreams,这是首个基于临床腹腔镜胆囊切除手术记录训练、支持实时运动学控制的交互式生成式手术模拟器,可在单块 NVIDIA RTX PRO 6000 GPU 上流畅运行。
SolarRenderer 将任意引擎的无纹理结构通道结合参考首帧,生成风格化完整视频,基于 MiniMax-H3 构建,通过控制 LoRA 与少步蒸馏 LoRA 实现实时逐帧结构一致的渲染,无需按游戏训练。
Matrix-Game 4.0 将游戏逻辑与视觉合成分离,通过可执行引擎与自回归视频渲染器实现低延迟的实时可玩游戏世界,在单张 RTX5090 上达到 480p、60 FPS 及 112ms 按键到显示延迟,并开源代码、模型权重与低多边形游戏资产。
SteerTTS 是一个 23M 参数的可数值调控英文 TTS 模型,通过 z-score 控制语速、音高、响度等 12 项参数,可在 CPU 上实时运行,并附带 2825 个内置语音与实验性零样本克隆。
论文提出 RealtimeBench,包含六类游戏共180个任务,在推理期间游戏持续运行来评估 LLM 智能体的实时决策能力,并提出 TORSI 双时间尺度自我改进方法,将 Jev 模型平均分从 13.51 提升至 24.19。
Grok Voice 3.0 发布,被称为全球最智能的语音到语音模型,响应时间低于1秒,面向客服通话场景且成本低于其他前沿模型。
一个从 FLUX.2 klein 蒸馏而来的 140 万参数 U-Net 学生模型,在 GTX 1650 入门级显卡上的 Minecraft Fabric mod 中,实现实时 30-40 FPS 的神经网络天气风格迁移(雪景、湿润、夜晚),通过 PatchGAN 微调修复了纯像素损失导致的输出泛白问题。
作者重新评估Jev类模型的价值,认为随着模型足够快和便宜,原本靠if-else拼接的业务逻辑、实时语音交互、计算机操作和机器人决策都可以交给System 1模型处理,形成SOTA后台深思考模型与System 1实时模型分工的新范式。
作者将六个流行的决策模型(jev 1.13、Kev 4B、Clef、Clef Flash、GPT-6 Luna 和 Laya)放在《吃豆人》游戏中进行实时对决,jev 1.13 以平均 2,750 分领跑排行榜。团队已公开排行榜和开源仓库,任何人提交自己的模型即可参赛。
WorldCast 提出了一种分布式多人世界模型,每个玩家本地运行视频生成器与状态模型,通过交换玩家状态和共享场景状态实现一致、可扩展的实时多人生成,并在 Counter-Strike 2 上验证了其一致性与可扩展性。
一位独立研究者分享了他的本地 AI 世界模型第二部分:一个约 960M 参数的 transformer,使用 diffusion forcing 和文本交叉注意力,在 RTX 5090 上以 30-60 FPS 运行,接受实时 WASD 操作,并支持在生成中途切换文本提示(例如"给沙漠加一个池塘")。
Clef Flash 是一个在 RTX 5080 上以 Q4 量化运行的 9B 模型,仅凭简单的视觉指令就能实时游玩 Google 贪吃蛇(在游戏 135 毫秒的转向时限内),无需任何训练或对游戏状态进行破解。
dotwave.ai 发布了技术文章,展示其推理引擎可在单张 H100 上并发服务 56 路实时会话(NVIDIA 参考栈仅支持 1 路):让模型常驻 GPU,并将所有会话按每个时钟周期批量处理,从而将每次对话的 GPU 成本降低约 98%,且 160ms 音频截止时限零丢失。
Microsoft AI 发布首个流式转录模型 MAI-Transcribe-2-Streaming(在 Artificial Analysis 上排名准确度第一,支持 60 种语言、100ms 部分结果延迟),同时推出 MAI-Voice-2.1 与 MAI-Voice-2.1-Flash 语音合成模型,面向低延迟对话式语音智能体场景。
Maxime Labonne 分享了一段演示:AI 智能体实时游玩《任天堂明星大乱斗》,并通过 API 在“最终目的地”地图上以两个 stock 的优势击败了 9 级 CPU Fox,展现了实时智能体游戏方面的进展。
LangChain 举办了一场网络研讨会,讨论 Jev,这是一个支持实时推理的工具,适用于内容过滤和防护栏等任务,包括 Sydney Runkle 等人的见解。
AI在表情识别、目标检测和手指计数方面的能力实现了低于1秒的延迟,突出了显著的实时性能提升。
本文介绍了ZENDAYA,这是一种用于流式多模态解码器的闭式带宽调节器,它动态调整输入读取以提高实时文本生成性能。研究表明,在视频和音频基准测试中,减少输入消耗可以增强流式设置下的质量和效率。
Atlas模型经过密集的推理优化后,现在可以实时运行,使得在B200和MI355X硬件上的世界生成和导航更加互动。
ReactVAU引入了一个用于实时流式视频异常理解的慢-快解耦框架,利用快速检测模块、持久化异常感知内存和按需慢速推理,以提高效率和性能。