audiovisual

Omni-InteractScope 引入了一个包含1,479条人工标注交互、涵盖八大任务组的基准，用于评估全模态大语言模型在连续视听流中能否可靠地实现及时的工具调用、无需查询的提醒以及持续引导，结果发现当前模型距离目标差距甚远。

PixVerse R2 是一个实时世界模型，能够生成不断演进的视听世界，接受文本、图像、音频和动作，并具有会话记忆，以实现交互式和可控的体验。

本综述研究了视频大语言模型的推理效率技术，分析了在帧采样、编码、令牌压缩和语言模型阶段的成本降低，同时识别了评估缺口。

Black Forest Labs 宣布推出 FLUX 3，这是一个多模态基础模型，可联合生成视听内容，并通过与 mimic robotics 的合作，实现用于机器人控制的视频-动作预测，已在奥迪进行测试。

作者一直在研究一种视听技术，并将其开源。