Video-RSI:通过 Harness 进化实现视频理解智能体的递归自我改进
摘要
Video-RSI 提出一种通过 harness 进化实现视频理解智能体递归自我改进的框架,无需更新模型权重,通过重新审视训练视频、收集证据并诊断失败来迭代改进提示、工具和记忆,从而在更少帧处理量下提升准确率。
查看缓存全文
缓存时间: 2026/10/12 06:55
论文页面 - Video-RSI:通过工具链演化实现视频理解智能体的递归自我改进
来源:https://huggingface.co/papers/2609.37950
我们提出了 Video-RSI,这是一个通过工具链(harness)演化实现视频理解智能体递归自我改进的框架。Video-RSI 不更新模型权重,而是让智能体重新审视演化所用的原始训练视频,收集额外的视觉、字幕和 OCR 证据,并对其失败原因进行竞争性解释的测试。随后,基于证据的诊断结果将被转化为对智能体提示词、工具、记忆和执行逻辑的可复用修改。
Video-RSI 采用一种考虑成本的选择机制,在保留修订时同时依据答案准确率和视觉处理成本进行评估。在所评估的视频理解基准测试中,演化后的工具链在处理更少帧数的同时提升了准确率,实现了具有竞争力的准确率—效率权衡。
我们发布了推理和评估代码、初始及最终的工具链,以及工具链演化工作流的实现。欢迎社区的反馈与讨论。
相似文章
自我进化代理脚手架框架
提出一个自我进化代理框架(Harness RSI),在保持模型权重固定的情况下,通过反馈驱动的修订与进化优化,持续改进代理的软件脚手架(提示、记忆、工作流和可执行组件),并借助持续 PAC 学习为泛化与保留能力提供理论保证。
RRSI: 智能体框架的正则化递归自我改进
本文介绍了针对AI智能体框架的正则化递归自我改进(RRSI),该方法在递归进化过程中应用正则化以防止过拟合,在多个基准测试中展示了性能提升。
Reels-RSI:面向代码渲染解说视频的程序级自我改进
本文提出 Reels-RSI,一个开源的可编程短视频(讲解短片)导演系统,将讲解视频视为程序而非像素,通过代码层面的日志、可执行规则与回顾反思实现智能体的程序级自我改进,并在 111 个短片的实验中验证了规则审计效果及偏好信号的失败模式。
ModularRSI:模块化与可泛化的递归式智能体框架自我改进
ModularRSI 提出了一种模块化、可泛化的递归式自我改进框架,用于智能体框架。该框架利用跨任务的对比学习独立演进模块,提升在未见任务上的性能。
EasyVideoR1:让视频理解的强化学习更简单
# 论文页面 - EasyVideoR1:让视频理解的强化学习更简单 来源:[https://huggingface.co/papers/2604.16893](https://huggingface.co/papers/2604.16893) ## 摘要 EasyVideoR1 提出了一个高效的视频理解强化学习框架,可提升训练吞吐量,支持多种视频任务,并实现图像-视频联合训练,在多个基准测试上进行全面评估。[可验证奖励强化学习](https://huggingface.co/papers