标签
本文介绍了“Pigeonholing”这一现象，即不良提示导致大语言模型崩溃并重复错误，造成38-40%的性能下降。跨越10个任务和10个模型的实验表明，随着对话轮次增加，问题恶化，并提出了结合合成错误的RLVR作为缓解措施。
本文将上下文夹带从标记级扩展到句子级，表明提示中的反事实句子在推理时也会增加其概率。该效应随模型规模增大而减弱，且由2-4%的注意力头驱动，这些注意力头可被消融而不影响性能。
本文通过七项任务、六种模型及类型多样的语言，实证研究了上下文学习中的跨语言迁移，表明基于微调的预期并不始终适用，并提出了源语言选择的新启发式方法。
本文介绍了SwiftTrans框架，该框架解决了LLM代码翻译中被忽视的运行时效率问题，在多个基准测试中同时提升了正确性和效率。
本文提出了Brick-DICL，一个动态上下文学习框架，用于将建筑管理系统点自动分类为Brick本体类。它采用检索增强生成和多模型过滤来提高准确性并减少人工验证工作量。
本文介绍了用于分类真实B2B对话的Call Playbook数据集，并提出将示例提炼为紧凑、可解释的任务指令的方法，相比传统上下文学习实现了99%的Token压缩和高达7%的AUC提升。
本文介绍了语法错误表征（GER），一种基于错误模式而非语义相似性检索上下文示例的新方法，显著提升了具有上下文学习能力的大型语言模型在多语言语法错误纠正中的表现。
本文提出CRUMB，一种三阶段推理封装方法，通过聚类测试查询并利用最小化最大均值差异（MMD）选择分布匹配的训练子集，从而实现对大规模数据集的高效先验拟合网络推理。在51个TabArena数据集上，该方法在上下文选择方面达到了最先进水平。
本文提出RoVE，一种无需参数的旋转位置嵌入改进方法，通过同时旋转值与键使值路径具备位置敏感性，将RoPE注意力转化为注意力卷积。在GPT-2模型上的实验表明，该机制在少样本上下文学习、分布外困惑度及长上下文检索方面持续提升性能。
本文识别并形式化了'结构注意力税'现象，即检索内容的格式（例如知识图谱三元组）独立于语义相关性扭曲了LLM的注意力分布，导致演示注意力压缩。它提供了正式框架、跨模型和基准的实证证据，并提出了结构感知的缓解策略。
本文引入了有限证书来验证语言模型上下文行为中的确定性与涌现性，提供了理论准则及对当代模型的实验验证。
CL-Bench 是一个经过专家验证的跨六个领域的新基准，用于评估基于LLM的智能体是否真正从序列经验中学习。它发现，朴素上下文学习往往优于专用的记忆系统，表明当前架构增加了开销而非真正的学习。
本文提出一种领域感知核集构建流程，使表格基础模型仅用0.7%的训练数据即可预测洪水深度，达到监督参考精度的98.5%，并支持跨流域迁移而无需重新训练。
本文提出一种基于Perceiver架构的模型，在合成袋结构数据上预训练，使得在少量标注样本下也能高效地进行任务自适应分类，在十二个基准测试中优于监督基线方法。
Google 研究人员提出了一种名为 'Sleep' 的持续学习范式，通过蒸馏和回放将短期上下文知识整合到长期模型参数中。'Dreaming' 阶段则利用强化学习生成用于自我改进的合成课程。
本文介绍了DOPA，一种演示搜索框架，该框架在目标领域不可访问时，利用分布外代理为大语言模型检索鲁棒的演示，从而增强在分布偏移下的上下文学习性能。
大语言模型能够通过结构化的语言学推理轨迹改善低资源语言的翻译，其最显著的效益出现在推理阶段而非训练阶段。
本文提出使用成对查询来改进二分类中的选择性分类，特别是在置信度估计不一致的情况下（如大语言模型的上下文学习）。理论条件及在合成和真实数据集上的实验表明，基于成对查询的算法比原始置信度估计能实现更好的准确率-成本权衡。
本文研究了大语言模型在上下文学习过程中如何重组表征几何结构，表明上下文学习性能与任务的几何结构相关，且成功的上下文学习涉及提高表征的可分离性。
本文提出了一种基于轻量级多模态LLM的框架，用于电力传输设备的成本效益缺陷分级，利用上下文学习和思维链生成训练数据，并对Qwen3-VL-8B进行微调，实现了最先进的性能。