标签
NexSight 为细粒度 agentic 长视频理解引入了可验证任务,提出 SightForge 管线、包含 310 个任务的 SightLine 基准以及 SightLoop 运行框架;在不到 6K 条已验证样本上对一个 35B 模型进行后训练,使其交互式准确率接近翻倍,并超越了同家族的 397B 模型。
VideoNexus 是一个免训练框架,将视频细节感知与证据驱动的规划推理分离,由感知子代理返回紧凑的时间锚定证据,在长视频基准上以更低成本取得更高准确率。
美团开源发布了 LongCat-Video-Avatar 1.6,这是其音频驱动人体视频生成框架的最新升级版本,改进了口型同步、长时序视频一致性(可超过 10 分钟)以及端到端推理速度。
本文提出 VMem-Bench,一个两阶段诊断基准,系统研究长视频生成中视觉记忆(检索历史画面)对历史一致性与当前故事准确性的权衡影响,发现检索虽提升实体召回率却降低了精确度与禁用实体规避能力。
VideoMaMa++ 提出一种掩码引导的扩散式视频抠图框架,通过分离的 RGB/掩码 token 流以及 preserve-and-refine 可学习嵌入,实现跨片段边界的滑窗推理,从而在长视频中保持时间一致性并提升细节精度。
提出 FramePack-U,一种免训练的常量内存帧打包框架,可将任意长度视频压缩为固定大小的视觉表示,直接插入现成 VLM 推理,在 Long VideoBench、MLVU 和 Video-MME 上显著超越全分辨率基线及现有 token 压缩方法。
美团开源了13.6B参数的LongCat-Video视频生成模型,原生支持文本到视频、图像到视频和视频续写,可在720p/30fps下生成数分钟长视频且无色彩衰减或质量下降,权重采用MIT许可证并允许商业使用。
提出 In-Distribution Forcing (ID-Forcing) 测试时框架,通过自缓存机制避免 KV 条目偏离训练分布,从而将短时视频扩散模型扩展到分钟级长视频生成,并显著缓解漂移问题。
CoEvoWhen 提出了一种策略-工具协同进化框架,通过 VLM 智能体推理轨迹共同进化高层策略与可执行的媒体工具,在无需更新模型参数的情况下提升超长视频时间定位能力。
KeyRec 是一个免训练框架,用于在视觉语言模型中构建有界视觉记忆。它通过近期观测缓存(recent-observation cache)与结构化事件库(event bank)相结合,将长视频/流式视频的上下文压缩至仅约 10% 的稠密视觉 token 规模,并在 15 项流式与长视频基准测试设置中的 13 项上取得了最优结果。
JoyAI-Echo是一个开源的GitHub仓库,提供长期音视频生成和全模态世界模型,用于创建持久故事和交互式世界。
NARU 是一个评估日本超长视频中叙事演进和文化推理的基准,通过分层标注管道和母语者验证构建,以解决当前基准的空白。
SCOUT 提出了一种恢复感知的智能体框架,采用自适应探索-利用策略,用于超长自我中心视频推理。该框架通过 UPS-GRPO 训练,这是一种不确定性优先的强化学习方法,具备回合级优势分解。它在超长自我中心基准上取得了最先进的结果,并在较短的长时间视频场景中保持竞争力。
提出自梯度强制(SGF),一种用于自回归视频扩散模型的双通训练策略,为写入有用的上下文记忆提供缺失的监督,即使在短训练窗口下也能实现强大的长视频外推。
这条推文介绍了LingBot-World-Infinity,一个开放权重的视频生成模型,它采用一种训练技术来从错误中恢复,从而能够生成跨越多个场景的连贯的1小时视频。
OPSD-V 通过使用真实长视频数据作为训练时的时间上下文,提供密集的轨迹级监督,从而增强视觉质量和运动动态,同时不改变推理机制,改进了少步自回归视频扩散模型。
港大开源 ViMax,一个多智能体协作的长视频生成工具,能从一句话生成带剧本、分镜、配音、角色一致的连贯视频,解决短视频碎片化和角色不一致等问题。同时开发者还介绍了Taste-Skill,一个提升AI生成界面审美的前端框架。
Seedance 2.5 能够一次性生成长达3分钟的连贯AI视频,标志着AI视频生成的重大飞跃,很快可能带来电视剧集和长片电影。
本文介绍了V-RAGBench,一个用于评估长自我中心视频中检索增强生成的基准,以及CARVE,一种自适应地为每个片段选择检索配置以提升VideoRAG性能的方法。
OmniMem 引入了一种面向流式音视频大模型的模态感知记忆分配与扰动感知选择策略,在长视频基准测试上相比压缩基线实现了2-4%的绝对准确率提升。