标签
本文揭示了一个反直觉的现象：语境学习中的正确示例反而可能降低模型准确率，并引入任务保持扰动来研究示例正确性与实用性之间的差距。
本文研究检索增强生成作为上下文优化过程，表明线性自注意力可以在统一的RAG目标上实现梯度下降。它提出了一种轻量级方法，适用于冻结的RAG大语言模型，通过预测上下文条件的更新，在多个问答基准上提升了性能。
本文介绍了MEMOR-E，一种配备平板界面的移动四足机器人，通过微调和上下文学习结合大语言模型，为阿尔茨海默病患者提供个性化、阶段感知的认知辅助，包括用药提醒和记忆互动，并具备可解释AI以便护理人员监督。
本文提出一种方法，通过在测试时优化固定小样本提示的连续嵌入来改进上下文学习，该方法利用模型对数概率导出的自监督置信代理，无需微调或生成令牌。
本文介绍了反思增强缩放（RAS）方法，该方法利用失败Cypher查询的执行反馈，通过上下文学习迭代优化查询生成，在多个数据集和模型上将执行错误率降低了41-50%。
讨论AI用到的数学主要是19世纪之前的线性代数、微积分等，但涌现现象如Scaling Law、涌现能力、双下降、情境学习和表示几何缺乏数学解释，类比1900年物理学的乌云，认为可能推动21世纪数学发展。
本文将经典的类别不平衡技术应用于表格分类的先验数据拟合网络（PFNs），发现由于PFNs的校准特性和有限数据能力，阈值法和降采样法表现良好。
本文提出将基于任务向量和上下文学习推理之间的分布对齐作为设计任务向量的准则，并引入线性任务向量（LTV），通过闭式线性映射最小化下一个标记概率差异。LTV 在八个基准测试和五个大语言模型上比基线平均准确率提高 9.2%。
TabPFN-MT 将 PFN 扩展到表格数据的多任务上下文学习，在小到中等规模数据集上取得了最先进的结果，同时将推理成本从 O(T) 次前向传播降低到 O(1) 次。
本文提出，大型语言模型中的上下文学习通过低维概念子空间运作，任务相关信息集中在表示空间的一小部分中，并在Llama-3-8B和Qwen2.5-7B上通过实验得到支持。
本文介绍了ACIL，一种自动Chain-of-Thought框架，通过生成和修剪推理链来增强上下文学习，从而提升LLM在复杂任务上的表现。
SurvivalPFN 是一种先验数据拟合网络，通过上下文学习摊销生存分析的贝叶斯推断，在 61 个数据集上实现了强大的预测性能，无需特定任务训练或超参数调优。
FashionChameleon 是一个实时交互式框架，用于人体-服装视频定制，采用教师-学生蒸馏和上下文学习技术，实现多服装切换并保持运动连贯性，在单个GPU上达到23.8 FPS。
本文研究了推理任务的多样本思维链上下文学习，揭示了标准扩展规则并不适用，并提出了Curvilinear Demonstration Selection (CDS)方法以改进示例排序，最高可获得5.42个百分点的性能提升。
本文使用主成分分析（PCA）和激活补丁等机制可解释性方法，在一个图随机游走任务上探究了大型语言模型是通过潜在结构推断还是局部模式匹配来进行上下文学习。
本文探讨了利用大型语言模型（特别是 Claude）结合计算机代数系统（Maple）来执行理论物理中的算法计算，例如分析宇宙学扰动。
一种针对LLMs的快慢学习框架，将固定的慢权重与优化的快上下文权重相结合，在持续学习场景中实现了高达3倍的样本效率提升，并减少了灾难性遗忘。
本文介绍了上下文稀疏注意力（ISA），这是一种通过裁剪冗余上下文和使用动态查询分组来显著降低视频编辑计算成本的框架。作者通过 LIVEditor 证明了该方法的有效性，在多个视频编辑基准测试中实现了近乎无损的加速和最新的技术结果。
乔治城大学研究团队通过将通用依存句法解析与双语注释一起加入上下文提示，显著提升了低资源科普特语到英语的翻译效果，刷新最佳纪录。
## 指令微调能否提升大语言模型的纵向建模上下文学习能力？ 来源：[https://arxiv.org/html/2604.16382](https://arxiv.org/html/2604.16382) Iqra Ali¹, Talia Tseriotou¹, Mahmud Elahi Akhter¹, Yuxiang Zhou¹, Maria Liakata¹,² ¹伦敦玛丽女王大学（英国），²艾伦·图灵研究所（英国） {iqra.ali,t.tseriotou,m.liakata}@qmul.ac.uk ###### 摘要 纵向NLP任务要求对时间有序的文本进行推理，以检测人类行为和观点的持续性和变化。然而，大语言模型的上下文学习在模型必须整合历史上下文、跟踪不断演变的交互，以及处理罕见变化事件的任务上存在困难。我们提出了LiFT，一个纵向指令微调框架，将多样化的纵向建模任务统一在共享的指令模式之下。LiFT采用课程式方法，在逐步增加时间难度的同时融入少样本结构和时间条件化，以鼓励有效利用过去上下文。我们在五个数据集上评估了LiFT。在不同时间粒度级别上针对纵向任务训练的模型，在两个独立数据集上进行了泛化能力测试。在不同参数规模的模型（OLMo（1B/7B）、LLaMA-8B和Qwen-14B）中，LiFT始终优于基线模型的上下文学习，在分布外数据和少数类变化事件上表现出显著的提升。