上下文多实例学习
摘要
本文提出一种基于Perceiver架构的模型,在合成袋结构数据上预训练,使得在少量标注样本下也能高效地进行任务自适应分类,在十二个基准测试中优于监督基线方法。
查看缓存全文
缓存时间: 2026/06/10 17:46
论文页面 - 上下文多实例学习
来源:https://huggingface.co/papers/2606.06458
摘要
在合成的包结构数据上预训练一个Perceiver风格的架构,能够在多实例学习场景中,利用少量标注样例实现高效、任务自适应的分类。
多实例学习 (Multiple Instance Learning, MIL) 解决的是标签仅在实例包级别可用的问题,并已成功应用于从计算病理学到卫星图像等多个领域。然而,现有算法在标注样本稀缺的场景下表现不佳,而这正是许多现实应用的特点。灵活模型容易过拟合,而刚性模型又难以适应当前任务。我们证明,在合成数据上预训练一个基于Perceiver风格架构的上下文学习器,能够得到一种仅需少量标注包即可解决新任务的模型。推理时,分类只需一次前向传播,无需梯度更新。我们提出并研究了针对包结构数据的多种合成数据生成器,发现它们能捕获互补的归纳偏置。在多种生成器混合数据上预训练的模型继承了各自在每项任务上的优势,并在十二个MIL基准测试中取得了最佳平均性能,超越了需要特定任务训练的有监督基线。
查看 arXiv 页面 (https://arxiv.org/abs/2606.06458)
查看 PDF (https://arxiv.org/pdf/2606.06458)
GitHub1 (https://github.com/injurise/ICMIL)
添加到收藏 (https://huggingface.co/login?next=%2Fpapers%2F2606.06458)
在您的代理中获取此论文:
hf papers read 2606.06458
没有最新的 CLI?curl -LsSf https://hf.co/cli/install.sh | bash
引用此论文的模型 0
暂无模型链接此论文
请在模型 README.md 中引用 arxiv.org/abs/2606.06458 以从此页面链接。
引用此论文的数据集 0
暂无数据集链接此论文
请在数据集 README.md 中引用 arxiv.org/abs/2606.06458 以从此页面链接。
引用此论文的 Spaces 0
暂无 Space 链接此论文
请在 Space README.md 中引用 arxiv.org/abs/2606.06458 以从此页面链接。
包含此论文的收藏集 0
暂无收藏集包含此论文
请将此论文添加到一个收藏集 (https://huggingface.co/new-collection) 以从此页面链接。
相似文章
MAG:流形引导的半监督多模态上下文学习
本文介绍了MAG,一种流形引导的半监督多模态上下文示例选择框架,利用未标记数据改进多模态大语言模型的少样本上下文学习。在八个基准上的实验表明,在标签稀缺场景下取得了一致的性能提升。
上下文学习运作于概念子空间学习
本文提出,大型语言模型中的上下文学习通过低维概念子空间运作,任务相关信息集中在表示空间的一小部分中,并在Llama-3-8B和Qwen2.5-7B上通过实验得到支持。
从丢失的溯源中学习:用于癌症登记肿瘤组分类的多实例学习
本文提出了一种基于注意力的多实例学习(ABMIL)框架,利用癌症登记处的患者级别标签来训练用于肿瘤组分类的深度学习分类器,无需每份报告的注释,在BC癌症登记处的任务上实现了0.83的宏F1。
InstanceControl:无需实例标注的可控复杂图像生成
InstanceControl利用视觉语言模型在文本提示与视觉条件之间建立实例级对应,无需人工实例标注即可实现多实例可控图像生成,并通过自适应掩码优化提高准确性。
LC-ICL:标签引导的对比上下文学习用于鲁棒信息抽取
本文提出LC-ICL,一种新颖的少样本技术,它同时使用正确和错误的示例以及错误原因标签,以提升大型语言模型在信息抽取任务(如命名实体识别和关系抽取)上的性能。