Video-RSI:通过 Harness 进化实现视频理解智能体的递归自我改进

Hugging Face Daily Papers 论文

摘要

Video-RSI 提出一种通过 harness 进化实现视频理解智能体递归自我改进的框架,无需更新模型权重,通过重新审视训练视频、收集证据并诊断失败来迭代改进提示、工具和记忆,从而在更少帧处理量下提升准确率。

视频理解智能体通过一个可执行的 harness 来获取证据,该 harness 决定了它们观察什么以及如何利用这些观察结果。然而,执行轨迹仅包含当前 harness 所获取的证据,使得失败的竞争性解释无法得到解决,从而限制了自我改进的基础。我们提出 Video-RSI,一个递归自我改进框架,其中视频理解智能体使用其自身的语言模型来修改自己的 harness。通过主动的视频调查,模型会重新审视原始训练视频,用额外的观察来检验竞争性的失败解释,从而使提出的修改基于现有轨迹之外的证据。具备成本感知能力的 harness 进化将这些诊断转化为可复用的修订,并在综合考虑答案准确率与视觉成本的情况下决定保留哪些修订。在我们在视频理解基准上的评测设置中,进化后的智能体在处理更少帧的同时提升了准确率,并在准确率与效率的权衡上取得了与现有视频理解智能体相当的表现。这些结果表明,视频理解智能体有潜力通过 harness 进化来改进自身的证据获取与利用能力。代码已发布于 https://github.com/bingjunluo/Video-RSI 。
查看原文
查看缓存全文

缓存时间: 2026/10/12 06:55

论文页面 - Video-RSI:通过工具链演化实现视频理解智能体的递归自我改进

来源:https://huggingface.co/papers/2609.37950

我们提出了 Video-RSI,这是一个通过工具链(harness)演化实现视频理解智能体递归自我改进的框架。Video-RSI 不更新模型权重,而是让智能体重新审视演化所用的原始训练视频,收集额外的视觉、字幕和 OCR 证据,并对其失败原因进行竞争性解释的测试。随后,基于证据的诊断结果将被转化为对智能体提示词、工具、记忆和执行逻辑的可复用修改。

Video-RSI 采用一种考虑成本的选择机制,在保留修订时同时依据答案准确率和视觉处理成本进行评估。在所评估的视频理解基准测试中,演化后的工具链在处理更少帧数的同时提升了准确率,实现了具有竞争力的准确率—效率权衡。

我们发布了推理和评估代码、初始及最终的工具链,以及工具链演化工作流的实现。欢迎社区的反馈与讨论。

相似文章

自我进化代理脚手架框架

Hugging Face Daily Papers

提出一个自我进化代理框架(Harness RSI),在保持模型权重固定的情况下,通过反馈驱动的修订与进化优化,持续改进代理的软件脚手架(提示、记忆、工作流和可执行组件),并借助持续 PAC 学习为泛化与保留能力提供理论保证。

RRSI: 智能体框架的正则化递归自我改进

Hugging Face Daily Papers

本文介绍了针对AI智能体框架的正则化递归自我改进(RRSI),该方法在递归进化过程中应用正则化以防止过拟合,在多个基准测试中展示了性能提升。

Reels-RSI:面向代码渲染解说视频的程序级自我改进

arXiv cs.AI

本文提出 Reels-RSI,一个开源的可编程短视频(讲解短片)导演系统,将讲解视频视为程序而非像素,通过代码层面的日志、可执行规则与回顾反思实现智能体的程序级自我改进,并在 111 个短片的实验中验证了规则审计效果及偏好信号的失败模式。

EasyVideoR1:让视频理解的强化学习更简单

Hugging Face Daily Papers

# 论文页面 - EasyVideoR1:让视频理解的强化学习更简单 来源:[https://huggingface.co/papers/2604.16893](https://huggingface.co/papers/2604.16893) ## 摘要 EasyVideoR1 提出了一个高效的视频理解强化学习框架,可提升训练吞吐量,支持多种视频任务,并实现图像-视频联合训练,在多个基准测试上进行全面评估。[可验证奖励强化学习](https://huggingface.co/papers