参数高效的多视角熟练度评估:从判别式分类到生成式反馈

Hugging Face Daily Papers 论文

摘要

本文针对 Ego-Exo4D 数据集提出了三种参数高效的多视角熟练度评估方法,实现了从判别式分类到生成式反馈的转变。与基于视频 Transformer 的基线模型相比,所提出的模型在参数量和训练轮次大幅减少的同时,取得了最先进的准确率。

评估一个人执行动作的好坏,而非仅仅识别执行了何种动作,在教练指导、康复训练和人才选拔中至关重要。这项任务极具挑战性,因为熟练度体现在时机、平衡、身体力学和执行细节上的细微差异中,且这些差异往往分布在多个视角和短暂的时序事件中。我们讨论了针对 Ego-Exo4D 数据集的多视角熟练度评估的三项最新贡献:SkillFormer 引入了一种用于选择性多视角融合的判别式参数高效架构;PATS 通过保留基本动作的局部密集片段来改进时序采样;ProfVLM 将熟练度评估重构为条件语言生成任务,通过门控跨视角投影器和紧凑的语言主干网络,同时输出熟练度标签和专家级反馈。总体而言,这些方法在 Ego-Exo4D 上取得了最先进的准确率,相较于视频 Transformer 基线模型,可训练参数量减少了多达 20 倍,训练轮次减少了多达 3 倍,同时实现了从封闭集分类向可解释反馈生成的转变。这些结果突显了向高效多视角系统的转变,该系统结合了选择性融合、熟练度感知采样以及可操作的生成式反馈。
查看原文
查看缓存全文

缓存时间: 2026/05/08 08:05

论文页面 - Parameter-Efficient Multi-View Proficiency Estimation: From Discriminative Classification to Generative Feedback

来源: https://huggingface.co/papers/2605.03848

摘要

三种多视角熟练度估计方法——SkillFormer、PATS 和 ProfVLM——在减少参数和训练轮次的同时,在 Ego-Exo4D 数据集上达到了最先进的准确率,并能够生成可解释的反馈。

估计一个人执行动作的熟练程度,而非判断执行了哪个动作,对于教练指导、康复训练和人才选拔至关重要。这项任务极具挑战性,因为熟练度编码在时序、平衡、身体力学和执行方式的细微差异中,通常分布在多个视角和短暂的时序事件中。我们讨论了三项关于 Ego-Exo4D 上多视角熟练度估计(https://huggingface.co/papers?q=proficiency%20estimation)的最新研究进展。SkillFormer 提出了一种用于选择性多视角融合(https://huggingface.co/papers?q=multi-view%20fusion)的参数高效判别式架构;PATS 通过保留基本动作的局部密集片段改进了时序采样(https://huggingface.co/papers?q=temporal%20sampling);ProfVLM 将熟练度估计(https://huggingface.co/papers?q=proficiency%20estimation)重构为条件语言生成(https://huggingface.co/papers?q=conditional%20language%20generation),通过门控跨视角投影器(https://huggingface.co/papers?q=gated%20cross-view%20projector)和紧凑的语言骨干网络(https://huggingface.co/papers?q=language%20backbone)同时生成熟练度标签和专家级反馈。总体而言,这些方法在 Ego-Exo4D 上达到了最先进的准确率,与视频 Transformer 基线(https://huggingface.co/papers?q=video-transformer%20baselines)相比,可训练参数减少了多达 20 倍,训练轮次减少了多达 3 倍,同时实现了从闭集分类向可解释反馈生成的转变。这些结果突显了向高效多视角系统的转变,该系统结合了选择性融合、感知熟练度的采样以及可操作的生成式反馈。

查看 arXiv 页面 (https://arxiv.org/abs/2605.03848)查看 PDF (https://arxiv.org/pdf/2605.03848)添加到收藏集 (https://huggingface.co/login?next=%2Fpapers%2F2605.03848)

在你的 agent 中获取这篇论文:

hf papers read 2605\.03848

没有最新的 CLI?curl \-LsSf https://hf\.co/cli/install\.sh \| bash

引用此论文的模型 0

没有链接此论文的模型

在模型 README.md 中引用 arxiv.org/abs/2605.03848 以在此页面建立链接。

引用此论文的数据集 0

没有链接此论文的数据集

在数据集 README.md 中引用 arxiv.org/abs/2605.03848 以在此页面建立链接。

引用此论文的 Spaces 0

没有链接此论文的 Space

在 Space README.md 中引用 arxiv.org/abs/2605.03848 以在此页面建立链接。

包含此论文的收藏集 0

没有包含此论文的收藏集

将此论文添加到收藏集 (https://huggingface.co/new-collection) 以在此页面建立链接。

相似文章

让视频模型学得更好、更快

Hacker News Top

本文探讨了生成式视频预训练中数据筛选技术的演进,重点介绍了利用计算机视觉、大语言模型和强化学习等方法,通过高质量数据提升模型性能。