标签
本文介绍了序列学习中基于李括号的迁移顺序预测方法，利用梯度场的交换子确定成对顺序，并可扩展到多个领域。实验表明，该方法在预测微调和指令调优的最优课程顺序方面具有高准确性。
本文提出NaviGen框架，通过双标识符和两阶段SFT+RL流水线将用户行为编码为可执行指令，实现个性化多模态内容生成，在商品、游戏和短视频领域提升了个性化效果。
本文研究指令调优LLMs（特别是Gemma-3-12B）中的一个对齐漏洞，通过展示预令牌隐藏状态偏移可以作为对齐策略遍历向量，从而可能绕过安全措施。
本文报告了一个观察结果：在回答问题前阅读一篇长而结构化的文本，会改变模型后续的回答方式。该现象在Claude上得到行为证据支持，并在开放权重的Gemma模型上进行了机制分析，结果显示，指令微调变体中的隐藏状态具有可分离性，且概率分布更加清晰。
文章报告了LLM中的一个潜在对齐漏洞：模型在处理一个结构化的段落之后，即使后续问题与段落内容完全无关，其回答也可能发生变化。来自Gemma-3-12B的机制证据显示了隐藏状态的分离。
DRIFT提出了一种方法，利用在线策略影响函数来优化大型语言模型监督微调的训练数据分布，持续提升现有基线的性能上限。
Mia-AiLab 发布了 Qwable-3.6-27b-MTP，这是基于 Qwen3.6-27B 的完整微调检查点，使用了经过清洗的 Fable 5 推理与指令数据集，专注于代码、结构化推理以及带有 MTP 层的本地推理。
VoidPadding引入了一个[VOID]标记来处理掩码扩散语言模型中的填充，使[EOS]能够仅专注于语义终止。该方法显著提升了推理和编码基准测试的性能，同时减少了解码步骤。
Mia-AiLab 发布了 Qwable-3.6-27b，这是一个基于清理后的推理和指令数据集对 Qwen3.6-27B 进行全参数微调的检查点，针对编程、技术辅助和结构化回复进行了优化。
介绍了HarnessBridge，一种可学习的双向控制器，它将智能体-环境接口参数化，用于LLM智能体。在Terminal-Bench和SWE-bench上，它以更少的计算开销达到了与专用框架相当的性能。
本文实证比较了多种LoRA变体在多语言指令微调中的表现，发现复杂变体在平衡跨语言迁移与知识保留方面相比基本LoRA并无显著优势。
本文介绍了Lius，这是一个使用持续指令调优（CIT）和四种指令族的印尼语到库邦马来语翻译模型。最佳变体Lius-Large-MT在低资源翻译任务上优于基线模型。
斯坦福助理教授Tatsunori Hashimoto和他的Tatsu Lab以不到600美元的成本用Alpaca重现了ChatGPT的行为，他们的AlpacaEval评估系统成为开源AI社区的标准。
本文介绍了 TypewriterLM，一个参数规模为 7.24B 的语言模型，仅基于 1913 年之前的英文文本进行训练；同时介绍了 TypewriterCorpus（一个包含 540 亿 token 的清洗后历史语料库）以及指令微调数据集，以避免时间泄露和前瞻偏差。此外，还提出了一个基准测试套件 History-Event，用于评估时间定位能力和泄露情况。
本文探究为何经过指令微调的大语言模型对其自身回应表现出过度自信，并识别出一种“所有权偏差”，即模型对自我生成的答案赋予更高置信度。文章提出一种简单的推理时策略，将模型答案重新表述为用户输入，无需重新训练即可将校准度提升高达26%。
本文提出MADS，一种利用来自大型语言模型的神经激活状态来选择多样化核心集进行指令微调的方法，表明仅15%的子集在多个基准测试上可以超越全数据集微调。
MERIT 引入了冲突感知拆分和权重合并，用于去中心化指令微调，实现了无需跨分区梯度同步的性能提升。
Critic-R引入了一个框架，使用评判模型在推理智能体和检索器之间提供内省反馈，在推理和训练时间同时提升智能体搜索性能，且无需重新训练智能体。
提出SLAP，一种用于大型语言模型高效指令微调的新型数据选择框架，它评估批次可学习性并采用分层采样，以在减少20-40%训练数据的情况下实现卓越性能。
本文分析了指令微调中的噪声嵌入技术，解释了为何均匀噪声优于高斯噪声，并引入了SymNoise，一种对称噪声方法，在AlpacaEval上将LLaMA-2-7B的性能显著提升至超过NEFTune。