参数高效的多视角熟练度评估:从判别式分类到生成式反馈
摘要
本文针对 Ego-Exo4D 数据集提出了三种参数高效的多视角熟练度评估方法,实现了从判别式分类到生成式反馈的转变。与基于视频 Transformer 的基线模型相比,所提出的模型在参数量和训练轮次大幅减少的同时,取得了最先进的准确率。
查看缓存全文
缓存时间: 2026/05/08 08:05
论文页面 - Parameter-Efficient Multi-View Proficiency Estimation: From Discriminative Classification to Generative Feedback
来源: https://huggingface.co/papers/2605.03848
摘要
三种多视角熟练度估计方法——SkillFormer、PATS 和 ProfVLM——在减少参数和训练轮次的同时,在 Ego-Exo4D 数据集上达到了最先进的准确率,并能够生成可解释的反馈。
估计一个人执行动作的熟练程度,而非判断执行了哪个动作,对于教练指导、康复训练和人才选拔至关重要。这项任务极具挑战性,因为熟练度编码在时序、平衡、身体力学和执行方式的细微差异中,通常分布在多个视角和短暂的时序事件中。我们讨论了三项关于 Ego-Exo4D 上多视角熟练度估计(https://huggingface.co/papers?q=proficiency%20estimation)的最新研究进展。SkillFormer 提出了一种用于选择性多视角融合(https://huggingface.co/papers?q=multi-view%20fusion)的参数高效判别式架构;PATS 通过保留基本动作的局部密集片段改进了时序采样(https://huggingface.co/papers?q=temporal%20sampling);ProfVLM 将熟练度估计(https://huggingface.co/papers?q=proficiency%20estimation)重构为条件语言生成(https://huggingface.co/papers?q=conditional%20language%20generation),通过门控跨视角投影器(https://huggingface.co/papers?q=gated%20cross-view%20projector)和紧凑的语言骨干网络(https://huggingface.co/papers?q=language%20backbone)同时生成熟练度标签和专家级反馈。总体而言,这些方法在 Ego-Exo4D 上达到了最先进的准确率,与视频 Transformer 基线(https://huggingface.co/papers?q=video-transformer%20baselines)相比,可训练参数减少了多达 20 倍,训练轮次减少了多达 3 倍,同时实现了从闭集分类向可解释反馈生成的转变。这些结果突显了向高效多视角系统的转变,该系统结合了选择性融合、感知熟练度的采样以及可操作的生成式反馈。
查看 arXiv 页面 (https://arxiv.org/abs/2605.03848)查看 PDF (https://arxiv.org/pdf/2605.03848)添加到收藏集 (https://huggingface.co/login?next=%2Fpapers%2F2605.03848)
在你的 agent 中获取这篇论文:
hf papers read 2605\.03848
没有最新的 CLI?curl \-LsSf https://hf\.co/cli/install\.sh \| bash
引用此论文的模型 0
没有链接此论文的模型
在模型 README.md 中引用 arxiv.org/abs/2605.03848 以在此页面建立链接。
引用此论文的数据集 0
没有链接此论文的数据集
在数据集 README.md 中引用 arxiv.org/abs/2605.03848 以在此页面建立链接。
引用此论文的 Spaces 0
没有链接此论文的 Space
在 Space README.md 中引用 arxiv.org/abs/2605.03848 以在此页面建立链接。
包含此论文的收藏集 0
没有包含此论文的收藏集
将此论文添加到收藏集 (https://huggingface.co/new-collection) 以在此页面建立链接。
相似文章
UniEvo-VL:用于多模态模型自我改进的在线自蒸馏训练方案
UniEvo-VL 提出了一种面向多模态模型的在线自蒸馏训练方案:让同一模型同时充当教师与学生(教师以模型自身生成的批注信息为条件),以提升其图像生成能力,在 GenEval 上的得分从 0.747 提升至 0.808。
MoE-ViE:高效图像与视频理解的混合专家视觉编码器
本文介绍了MoE-ViE,一种混合专家视觉编码器,能够高效扩展以支持图像和视频理解,并以更低的推理延迟超越更大的密集模型。
让视频模型学得更好、更快
本文探讨了生成式视频预训练中数据筛选技术的演进,重点介绍了利用计算机视觉、大语言模型和强化学习等方法,通过高质量数据提升模型性能。
Ambient @ EgoLongQA 2026:将长视频感知蒸馏到小于2B参数的模型中
一个从使用工具的智能体蒸馏而来的2B视觉语言模型,通过剪枝其多语言嵌入表以满足参数限制,在长第一人称视频问答任务中取得了第一名,仅使用1.1%的参数就达到了更大管道89%的准确率。
MVTrack4Gen:多视角点跟踪作为4D视频生成的几何监督
MVTrack4Gen提出了一种训练框架,利用多视角点跟踪作为几何监督来增强运动感知扩散模型,在从单目视频生成新视角视频中实现了最先进的几何一致性和运动保真度。