论文页面 - ALICE：基于上下文的零样本互信息估计

来源：https://huggingface.co/papers/2609.34962

摘要

从样本中估计互信息（MI）是众多科学领域的核心目标。现代神经网络估计器在大数据量场景下表现出色，但在数据稀缺时效果不佳，且每个分布都需要重新训练拟合。现有的估计器还过度绑定于特定的数据类型。这些限制阻碍了它们在许多场景中的应用，因为在这些场景中，针对每个分布进行训练并不现实，且样本量很小。我们提出 ALICE，一个基础模型，无需针对每个分布进行训练即可获得有竞争力的估计精度。ALICE 仅在一大类合成分布上进行训练，作为修正流（rectified flow）速度场的上下文估计器：给定某个未见分布的样本，它无需任何显式训练即可估计该分布的速度场。互信息随后通过一个固定恒等式获得，该恒等式对联合场与条件场之间平方差进行积分。我们在一个标准且具有挑战性的基准上验证了 ALICE，并将其应用于三个领域——生物学、遗传学和神经科学——这些领域的数据是模型从未见过的。我们首次证明，单个模型能够弥合与针对每个分布分别训练的神经估计器之间的差距，同时原生支持不同的数据维度和样本基数，从而实现跨科学领域的零样本 MI 分析。

查看 arXiv 页面 (https://arxiv.org/abs/2609.34962)　查看 PDF (https://arxiv.org/pdf/2609.34962)　项目页面 (https://github.com/eurecom-probai/alice)　GitHub0 (https://github.com/eurecom-probai/alice)　添加到收藏夹 (https://huggingface.co/login?next=%2Fpapers%2F2609.34962)

在你的 agent 中获取这篇论文：

hf papers read 2609.34962

还没有最新版 CLI？curl \-LsSf https://hf\.co/cli/install\.sh \| bash

引用此论文的模型：0

尚无模型关联此论文

在模型的 README.md 中引用 arxiv.org/abs/2609.34962，即可从此页面链接它。

引用此论文的数据集：0

尚无数据集关联此论文

在数据集的 README.md 中引用 arxiv.org/abs/2609.34962，即可从此页面链接它。

引用此论文的 Spaces：0

尚无 Space 关联此论文

在 Space 的 README.md 中引用 arxiv.org/abs/2609.34962，即可从此页面链接它。

包含此论文的收藏夹：0

尚无收藏夹包含此论文

将此论文添加到收藏夹，即可从此页面链接它。