标签
The paper proposes BC-ICL, a bootstrap-conditioned action selection method that leverages pretrained tabular foundation models with in-context learning for contextual bandits, improving exploration and regret performance under strict online protocols.
Align-RAG 引入了一种无需训练的闭式对齐方法，用于在冻结的时间序列基础模型上进行检索增强预测，在标准基准测试中超越了学习型融合适配器，且无需任何学习参数。
本文研究了使用检索到的文档简化示例来引导大语言模型进行文档级文本简化，在OneStopEnglish语料库上展示了相比仅使用提示生成的改进效果。
EdgeLM是一篇研究论文，提出了一种检索框架，选择边缘演示——即决策边界附近的相关示例——以提高LLM在表格理解与数据整理任务上的表现。
本文通过探测测试和路由是否是可分离的机制，研究语言模型如何执行上下文中的条件规则。利用跨三个开放模型和六种语言的激活修补，作者发现谓词测试是模块化的，而路由表示则受令牌绑定且不可迁移。
This paper applies graph signal processing to analyze how LLMs internally represent numerical sequences during in-context learning, finding that attention-induced token graphs and hidden-state signals show systematic, context-dependent signatures related to input complexity.
介绍了ContinualSkillBench，一个用于LLM智能体上下文内持续技能学习的动态评估框架，表明虽然顺序执行能提升性能，但当前方法难以将经验巩固为稳健、可迁移的技能。
This paper explores using the PluRel synthetic relational database generator as an external data source for pretraining RDB-PFN, a relational in-context learner, demonstrating that schema-guided curriculum design can recover most of the original performance with far fewer pretraining tasks.
本文研究了课程设计和合成数据多样性如何影响关系型先验数据拟合网络（PFN）的预训练，结果表明渐进式课程可以用远少于RDB-PFN的合成数据达到或接近其性能。
This paper proposes CoRA, a gradient-free framework for task-conditioned retrieval in on-device in-context learning, using frozen encoders and closed-form ridge regression to build compact retrieval bases without fine-tuning or backpropagation.
本文研究了小表格数据集上TabPFN的上下文采样，发现上下文多样性和覆盖范围比分布匹配对准确性更重要，并且随机采样是有效的。
本文介绍了一个评估协议，包含四个新指标和一个基准数据集，用于评估LLM的上下文归因方法，并表明当上下文与训练数据重叠时这些方法会失败。
NVIDIA 发布了 Ising Calibration 1.5，这是一个开源视觉语言模型，通过增强的上下文学习和改进的性能实现量子计算机的完全自动化校准，现在可以部署在单个 GPU 上。
提出Experience Distillation方法，该方法将在智能体交互历史中通过上下文学习获得的增益内化到模型权重中，无需额外的环境交互，在软件工程和文字冒险任务上实现了显著的样本效率提升。
本文介绍了LeadTime-ICL（LT-ICL），一种用于概率性供应商提前期预测的删失感知上下文学习模型。该模型结合了Transformer骨干网络和归一化流头，在24个工业供应链数据集上展示了强大的性能，无需特定任务的重新训练。
本文对掩码扩散语言模型中的归纳机制进行了机制分析，识别出一个双向归纳电路，并表明这些模型将全局掩码标记比例用作隐式时间步。
本文构造了一个具有线性自注意力的Transformer，该Transformer对简单线性回归执行闭式最小二乘解的上下文学习，利用层归一化来近似解析解，而非梯度下降。
本文提出一种重新表述方法，将表格基础模型（TFMs）应用于离散选择估计，解决了行独立假设的结构性差距。最佳重新表述在留出对数似然上优于层次贝叶斯估计8%，在命中率上优于3.6%，同时运行速度快16倍。
本文提出了一个框架来测试LLM估计是否在不同子群体间遵循统计自一致性（全概率定理），发现了广泛的违反以及“宏观谬误”，即细粒度估计与人类数据的一致性更好。
一位研究人员讨论了LLMs中的持续学习挑战，将其比作健忘的实习生，并探索了扩展上下文窗口、构建有状态记忆以及将上下文压缩为潜在表示等方法，引用了他们在Still上的工作。