标签
最新研究表明，像 Evo 2 这样的基因组语言模型能够通过少量示例进行上下文学习，生成蛋白质、从头设计的抗体、CRISPR-Cas9 基因座、线粒体基因组，甚至完整的噬菌体，并通过思维链式的迭代提示实现更具挑战性的设计目标。
本文将室内无线电地图估计表述为协同上下文学习问题，并提出了 Poly-Ripple 框架。在该框架中，多个客户端无需更新模型，即可使用大型自回归视觉模型，通过波纹顺序自回归建模和重要性感知聚合，实现优于上下文学习（ICL）基线的性能。
提出银标准证据示例方法，用生成的、以目标为条件的证据摘要替换上下文学习（ICL）示例中的原始检索段落，以减少噪声检索带来的干扰。该方法在 EI 2.0、SciFact、合成策略检索和 HICRIC/IMR 数据集上优于仅使用金标准的 ICL 和 InstructRAG 式 ICL，并在所有标注数据集上提升了证据 F1 分数。
本论文提出一种 POS-signature 检索策略，用于依存句法分析的 in-context learning 示例选择，结果显示其在 UD English Web Treebank 测试集上的标注附着分数优于语义相似度检索基线。
ReGE 是一个将智能体历史执行经验合成为自指导信息的框架，使后续任务尝试无需更强教师模型或参数更新即可提升表现，在四个基准上平均提升约 9-10 个百分点，并大幅减少引导构建所需的 token 成本。
一份对 GPT-6-Astra 在 12 项具身智能基准上的评估技术报告发现，该模型在操作和导航方面取得了前所未有的性能，但同时也揭示了巨大差距——高昂的演示成本、物理约束以及不可逆的故障——这些因素阻碍了其在现实世界中的可靠部署。
ICCLHerd 提出一种基于 herding 的 LLM 训练数据选择框架，利用 von Mises–Fisher 核平衡 mode-seeking 与 mode-averaging，并以 in-context learning 作为验证代理进行超参数搜索，实验表明其优于现有数据选择算法。
该论文提出 ECI2D 方法，通过将语言推理链抽象为可执行程序并施加因果干预（do 算子）来筛选自生成的上下文示例，解决仅靠观察过滤示例时的观测等价问题，在数学、逻辑与常识推理基准上取得显著提升。
本文考察了不同评估设置选择如何影响基础语言模型的基准测试：在四种语言中，针对26个20亿参数模型及更大规模的大语言模型，分析了8个设计方面，并提出将单调性、非随机性和排名一致性作为元度量，以指导预训练期间可靠评估设置的选择。
本文提出一种受控诊断任务，区分语言模型在上下文学习中的“复制示例”与“组合应用规则”两种行为，发现提示控制、答案偏好、无候选构造和迁移能力在训练中沿不同时间线发展，且合成定义文档训练能提升组合式响应。
该论文提出了 CB-Agent，这是一种基于概念的上下文学习方法，通过从专家轨迹中拟合可复用的概念向量，为大语言模型智能体的候选动作评分，并在 TextWorld、ALFWorld 和 ScienceWorld 上取得了领先的跨基准平均成绩。
该报告大规模评测了 GPT-6-Astra 在 12 项机器人基准上的具身能力，指出其已跨越具身能力门槛但尚未实现实用具身智能，并探讨了 System 2/System 1 协同与真实部署中的成本、执行时间等关键挑战。
论文提出 Copy-Paste 语言模型（CPLMs），在传统语言建模头之外加入轻量 Copy-Paste 头以增强模型的上下文复制能力，在 135M 到 1.7B 参数规模的预训练中验证了训练效率、下游性能及长上下文检索的提升，且开销极小。
论文提出 GIST（基于生成器状态信息的表格基础模型监督），利用生成器中间状态的条件标签分布替代硬标签监督，以降低表格基础模型预训练中的采样方差，在 TabArena 和 TALENT 基准上取得更好的平均排名。
该论文提出将 Transformer 网络解释为混合概率推理过程的可学习近似：自注意力对应在输入条件化、动态结构的马尔可夫随机场上执行 max-product 信念传播，而层间深度演进则对应隐式的期望最大化（EM）过程。基于此视角，作者提出 meta-model 范式，将自注意力、混合专家和门控单元等机制统一起来。
该论文提出了一种全晶体管物理学习Transformer，通过在双电路中引入额外电路元件恢复双向信息流，并利用亚阈值MOSFET的指数电流定律构建注意力机制，仿真表明该电路可被训练执行简单的上下文学习任务。
论文提出 TabWM（表格世界模型）与 WorldRel 生成器，通过在上下文中观察执行样本来推断关系型系统的动态，预测动作导致的稀疏结构化编辑，从而将关系学习从状态建模扩展到世界建模与动作规划。
SIMIT 是一种测试时自我改进框架，视觉语言模型通过想象生成针对特定查询的练习数据，无需外部标注，即可在 17 项基准测试中相较于 BAGEL-7B 实现最高 +7.20% 的平均相对提升。
本文提出SFT-as-context，一种两阶段推理方法：先用微调后的模型生成响应，再将该响应作为上下文喂给父模型。该方法在保留任务性能提升的同时，有效缓解了监督微调后通用能力的灾难性遗忘问题。
本文提出"空间感应头"（spatial induction heads），一种两层 gather-and-match 电路，解释 Transformer 如何在多维细胞自动机的序列化数据中进行上下文学习。研究表明，该电路可逼近贝叶斯后验并在确定性规则上实现精确预测，训练后的两层 Transformer 能泛化到未见过的规则。