标签
本文将先验拟合网络（Prior-fitted networks，TabPFN）扩展到自然语言，通过仅在合成序列上训练一个 300M 参数的字节级 Transformer 来实现——这些序列采样自随机采样的循环因果模型，即一个「语言先验」。在权重冻结的条件下，模型能够在上下文中学习预测六种语言，还能进行计数、比较数值大小、近似加法，以及预测素数和 Kolakoski 序列等确定性序列，表明上下文语言学习可以从合成的非语言先验中涌现。
论文提出 GAMA，一个面向生物医学命名实体识别的指南增强多智能体框架，通过从标注数据中归纳并验证注释规则构建指南记忆，结合规划、编码与验证模块实现 schema 约束的实体抽取，在五个 BioNER 数据集上超越现有 LLM 基线。
本文提出激活对齐方法，即在合成的无标注数据上训练一个轻量级线性变换，将受限上下文的学生模型激活映射到全上下文的教师模型激活，从而在性能损失很小的情况下实现更快的表格上下文学习。在包含 38 个数据集的 TabArena 基准上，使用 TabPFN-3 和 TabFM 进行评估，该方法在低数据场景下恢复了教师模型优势的近一半，同时可在无 GPU 的普通硬件上运行。
一篇 Berkeley 的论文发现，LLM 在上下文中常会保留过时的偏好或截止时间，即使已知信息发生了更新，注意力仍不断回到陈旧的数值上；显式提供当前状态（或引导注意力聚焦最新值）即可在不重新训练的情况下大幅提升性能。
论文提出了ViGAR，一种面向长时程组合式机器人操作的分层世界-动作模型，将任务分解为视觉子目标规划器和子目标执行器，在RoboTwin Clean2Random基准测试上分别达到82.00%和67.02%的成功率，平均成功率超出最强基线12.86个百分点。
LoopICL 通过复用一个权重共享的 Transformer 块（并采用双路 cell/row 流和一个可学习的出口门控），将参数量与模型深度解耦。在相同 FLOPs 下，其性能与 TabICL v2 在 TabArena/TALENT 上相当，但参数量减少了约 90%。
这篇由 SAP 主导的论文研究了关系型上下文学习中的支持集目标泄漏问题。作者在 13 个 RelBench 任务中构建了 20 个受控的目标衍生特征，结果表明泄漏效应强烈依赖于任务和模型，在不同模型变体之间甚至可能得出相反的结论，从而削弱了关系基础模型评估的可靠性。
该论文形式化了关系基础模型在上下文学习过程中的支持集目标泄漏问题，即标注的支持样本中包含了查询时无法获得的、源自目标表的特征。作者在 RelBench 数据库上使用 14 种合成泄漏类型进行实验，结果表明目标表泄漏导致的性能下降最为明显，且积分梯度（Integrated Gradients）能够对问题列进行排序，并在一定程度上加以缓解。
本文测量了语言模型的上下文绑定能力，发现其召回能力按照幂律随参数规模扩展，并分析了预训练方案及干扰等因素的影响。
论文提出 Q-Target Pretrained Transformers (QTPT) 用于上下文强化学习，通过用 Bellman 风格的 Q-目标目标替代行为克隆，以提高对弱或次优数据质量的鲁棒性。
该论文提出 SimpleICL，一个极简且可复现的机器人上下文学习（ICL）框架，通过明确的问题定义解决视觉示范带来的提示歧义，并在仿真与真实环境中取得强劲性能，同时开源数据与训练管线。
研究发现，预训练 transformer 在遵循上下文引用时极少使用其深度（仅可靠遵循 1.4-3.6 行），而一个冻结所有权重、只在早期层添加的 rank-8 LoRA 即可大幅扩展该能力——Qwen3-8B 在 24 行链上的精确准确率从 15.5% 提升至 99%。LoRA 起到「接力」作用，使程序行通过中间层传递链身份信息。
ALICE 是一个用于零样本、上下文内互信息估计的基础模型，仅在合成分布上训练，利用整流流（rectified-flow）速度场来估计互信息，无需针对每个分布进行单独训练。它在生物学、遗传学和神经科学等领域的基准测试中取得了具有竞争力的准确率。
Acacia是一个仅在Common Crawl网页图上训练的图基础模型，支持任意特征和多种任务，如节点分类和链接预测，以及不依赖预训练LLMs的上下文学习。
本文介绍了 FakeContext-bench，用于评估大型语言模型区分上下文信息和事实知识的能力，并提出了 Jurisdiction In-Context Learning (J-ICL) 以增强上下文学习性能和对误导性上下文的抵抗力。
本文首次对大规模语言模型在印地语和马拉地语的OCR后校正进行系统性评估，比较上下文学习的检索策略，并展示CharBM25的有效性。
CausalWM是一个因果世界模型，使用链式思考通过逐步捕捉物理依赖关系来预测未来帧，在像TriWorldBench和PAI-Bench这样的基准测试中排名第一。
本文提出了RoboDawn，一种将视觉语言模型智能迁移至机器人控制的方法。该方法通过零样本和单样本学习在基准测试中取得了先进结果，并在真实世界应用中验证成功。