上下文多实例学习
摘要
本文提出一种基于Perceiver架构的模型,在合成袋结构数据上预训练,使得在少量标注样本下也能高效地进行任务自适应分类,在十二个基准测试中优于监督基线方法。
查看缓存全文
缓存时间: 2026/06/10 17:46
论文页面 - 上下文多实例学习
来源:https://huggingface.co/papers/2606.06458
摘要
在合成的包结构数据上预训练一个Perceiver风格的架构,能够在多实例学习场景中,利用少量标注样例实现高效、任务自适应的分类。
多实例学习 (Multiple Instance Learning, MIL) 解决的是标签仅在实例包级别可用的问题,并已成功应用于从计算病理学到卫星图像等多个领域。然而,现有算法在标注样本稀缺的场景下表现不佳,而这正是许多现实应用的特点。灵活模型容易过拟合,而刚性模型又难以适应当前任务。我们证明,在合成数据上预训练一个基于Perceiver风格架构的上下文学习器,能够得到一种仅需少量标注包即可解决新任务的模型。推理时,分类只需一次前向传播,无需梯度更新。我们提出并研究了针对包结构数据的多种合成数据生成器,发现它们能捕获互补的归纳偏置。在多种生成器混合数据上预训练的模型继承了各自在每项任务上的优势,并在十二个MIL基准测试中取得了最佳平均性能,超越了需要特定任务训练的有监督基线。
查看 arXiv 页面 (https://arxiv.org/abs/2606.06458)
查看 PDF (https://arxiv.org/pdf/2606.06458)
GitHub1 (https://github.com/injurise/ICMIL)
添加到收藏 (https://huggingface.co/login?next=%2Fpapers%2F2606.06458)
在您的代理中获取此论文:
hf papers read 2606.06458
没有最新的 CLI?curl -LsSf https://hf.co/cli/install.sh | bash
引用此论文的模型 0
暂无模型链接此论文
请在模型 README.md 中引用 arxiv.org/abs/2606.06458 以从此页面链接。
引用此论文的数据集 0
暂无数据集链接此论文
请在数据集 README.md 中引用 arxiv.org/abs/2606.06458 以从此页面链接。
引用此论文的 Spaces 0
暂无 Space 链接此论文
请在 Space README.md 中引用 arxiv.org/abs/2606.06458 以从此页面链接。
包含此论文的收藏集 0
暂无收藏集包含此论文
请将此论文添加到一个收藏集 (https://huggingface.co/new-collection) 以从此页面链接。
相似文章
上下文学习运作于概念子空间学习
本文提出,大型语言模型中的上下文学习通过低维概念子空间运作,任务相关信息集中在表示空间的一小部分中,并在Llama-3-8B和Qwen2.5-7B上通过实验得到支持。
元学习上下文学习实现无需训练的跨被试脑解码
# 论文页面 - 元学习上下文学习实现无需训练的跨被试脑解码 来源:[https://huggingface.co/papers/2604.08537](https://huggingface.co/papers/2604.08537) 作者:,,,,,,,,,,,,, ## 摘要 一种元优化方法通过少量图像-脑示例快速推断个体独特神经编码模式,无需跨被试及扫描仪微调,即可实现可泛化的语义视觉解码。[视觉解码](https://huggingface.co/papers?q
基于LLM推理的多视角注意力多示例学习在认知扭曲检测中的应用
本文提出一个新颖框架,将大语言模型与多示例学习相结合,通过将话语分解为情绪、逻辑和行为三个维度,并使用多视角门控注意力机制来检测心理健康文本中的认知扭曲。该方法在韩文和英文数据集上展现了改进的性能,特别是对于具有高解释歧义性的扭曲。
多样本思维链上下文学习:让上下文学习真正学会
本文研究了推理任务的多样本思维链上下文学习,揭示了标准扩展规则并不适用,并提出了Curvilinear Demonstration Selection (CDS)方法以改进示例排序,最高可获得5.42个百分点的性能提升。
干扰感知的多任务机器遗忘
本文介绍了一种干扰感知的多任务机器遗忘框架,通过任务感知的梯度投影和实例级别的梯度正交化来解决任务级和实例级干扰,在多任务计算机视觉基准上实现了有效的遗忘。