论文页面 - 从通用表示到专用表示

来源：https://huggingface.co/papers/2605.12733

摘要

非参数可辨识性结果建立了在无需参数假设或干预的前提下，从通用模型中提取任务相关表示的基础保证。

给定一个通用模型（ https://huggingface.co/papers?q=generalist%20model ），学习任务相关的专用表示（ https://huggingface.co/papers?q=specialist%20representation ）对下游应用至关重要。可辨识性（ https://huggingface.co/papers?q=Identifiability ）——即渐近地保证恢复真实表示——之所以关键，是因为它设定了任何模型（即使拥有无限数据和计算）的最终极限。我们在完全非参数设定（ https://huggingface.co/papers?q=nonparametric%20setting ）下研究这一问题，不依赖干预、参数形式或结构约束。我们首先证明，时间步与任务之间的结构在完全无监督的方式下是可辨识的，即使序列缺乏严格的时间依赖（ https://huggingface.co/papers?q=temporal%20dependence ）且可能断连，任务分配也可能遵循任意复杂且交错的结构。随后我们证明，在每个时间步内，任务相关的潜在表示（ https://huggingface.co/papers?q=latent%20representation ）可以在简单的稀疏正则化（ https://huggingface.co/papers?q=sparsity%20regularization ）下与无关部分解耦，无需任何额外信息或参数约束。综合起来，这些结果建立了一个层次化基础：任务结构在时间步之间是可辨识的，任务相关的潜在表示（ https://huggingface.co/papers?q=latent%20representation ）在每个时间内也是可辨识的。据我们所知，每个结果都提供了首个通用的非参数可辨识性（ https://huggingface.co/papers?q=identifiability ）保证，且合在一起标志着向可证明地从通用模型走向专用模型迈出了一步。

查看 arXiv 页面（ https://arxiv.org/abs/2605.12733 ）查看 PDF（ https://arxiv.org/pdf/2605.12733 ）添加到收藏（ https://huggingface.co/login?next=%2Fpapers%2F2605.12733 ）

在你的 agent 中获取这篇论文：

hf papers read 2605.12733

没有最新的 CLI？curl -LsSf https://hf.co/cli/install.sh | bash

引用此论文的模型 0

没有模型链接此论文

在模型 README.md 中引用 arxiv.org/abs/2605.12733，即可从本页面链接。

引用此论文的数据集 0

没有数据集链接此论文

在数据集 README.md 中引用 arxiv.org/abs/2605.12733，即可从本页面链接。

引用此论文的 Space 0

没有 Space 链接此论文

在 Space README.md 中引用 arxiv.org/abs/2605.12733，即可从本页面链接。

包含此论文的收藏集 0

没有收藏集包含此论文

将这篇论文添加到一个收藏集（ https://huggingface.co/new-collection ）中，即可从本页面链接。