标签
GraphForge 提出了一种证据图框架，将智能体的任务生成与验证共同锚定在真实文件之上，从而能够为工作场景中的智能体合成可验证的训练轨迹。在 2,169 条 GraphForge 轨迹上对 Qwen3.6-27B 进行微调后，模型在 GDPVal、Workspace-Bench-Lite 和 SpreadsheetBench II 上均有所提升，而采用拒绝微调（rejection fine-tuning）则能进一步取得增益。
Perplexity 结合了拒绝采样微调与提示引导自蒸馏，以在真实世界工具使用中训练其 Computer 模型，从成功会话和用户纠正的失败中学习。
本文提出了RIMS，一种面向小规模语言模型在检索增强生成中的三阶段偏好优化框架，利用合成思维链数据和可微软聚合机制来提高对噪声证据的鲁棒性。实验表明，在多跳问答基准上，该方法相较于基线持续取得改进。
本文在合成数据扩展中区分了固定源合成（FSS）与源扩展，提出了一种修正的缩放定律，能够从低预算拟合预测高预算下的性能。实验结果表明，FSS 是有界的，并且在大规模下，增加种子问题比增加回答预算表现更好。
本文系统评估了LLM在处理表格时的数据引用错误（DRE），并提出基于批评者的过滤和拒绝采样方法来提高答案准确性。一个轻量级的4B参数批评者模型在检测DRE方面达到了高准确率。
本文提出了隐式变分拒绝采样（Implicit Variational Rejection Sampling, IVRS），该方法将隐式分布与拒绝采样相结合，以改进变分推断中的后验近似，并引入了隐式重采样证据下界（Implicit Resampling Evidence Lower Bound, IR-ELBO）作为更紧的变分下界。
本文提出了多阶段飞行中拒绝（MSIFR），一种无需训练的框架，通过在中间检查点检测并终止低质量生成轨迹来减少基于LLM的合成数据生成中的令牌浪费。在五个模型和七个基准测试中，MSIFR作为独立方法可减少11%-77%的令牌消耗，与早期退出方法结合时最多减少78.2%，同时保持或提升准确率。
本文介绍了 Entrocraft，这是一种用于强化学习的拒绝采样方法，通过控制熵调度来防止大语言模型的性能饱和。该方法展示了更强的泛化能力和更长的训练寿命，使较小规模的模型能够超越较大的基线模型。