标签
ICCLHerd 提出一种基于 herding 的 LLM 训练数据选择框架，利用 von Mises–Fisher 核平衡 mode-seeking 与 mode-averaging，并以 in-context learning 作为验证代理进行超参数搜索，实验表明其优于现有数据选择算法。
该论文研究了 LLM 预训练数据采集中的爬虫预算分配问题，发现文档质量在主机层面存在显著聚集性，通过先采样少量页面再按质量深入爬取，可比统一深度或基于中心度的分配多收集数倍高质量页面。
论文提出了 TQS（轨迹质量评分），一种基于轨迹结构信号（信息聚焦、意图与行为对齐、策略动态）的线性时间评分框架，用于筛选高质量编码智能体轨迹进行监督微调。实验表明，在 TQS 排名靠前的轨迹上训练的模型，在 SWE-Bench Verified 上的表现优于使用随机或低质量子集训练的模型。
本文提出 FAER，这是一个面向语言模型后训练的可审计全轨迹重放框架。该框架形式化了缓存级选择反馈与下游学习者效用之间的差距，并表明一个学习者感知的选择器（FAER-UTILITY）在 GSM8K 上配合 Qwen2.5-1.5B-Instruct 时，表现优于基于格式反馈和均匀采样的基线方法。
该论文通过冻结选中子集并只更换训练学习器的受控实验，证明样本价值（以及 easy-first 与几何覆盖策略的 crossover budget）是相对于目标学习器定义的，而非数据的固有属性。
研究表明，在为大模型微调选择数学训练数据时，共享推理方法（例如不变推理或双重计数）对保留目标数据的迁移效果显著优于共享数学主题，在五个基础模型上，平衡设计的2x2实验中优势达到8至16个百分点。
该论文提出 GapFT 这一微调方法，依据模型的 Pass@K 与 Pass@1 之间的差距来筛选训练样本。在 LogiQA 2.0 和 ReClor 上的结果表明，该方法能在大幅减少数据用量（远少于均匀验证式 RFT）的同时，显著提升单样本准确率。
AutoData 引入了一个AI智能体，通过搜索可执行算法来自动化大型语言模型的预训练数据选择，超越了人工设计的筛选流程，并提升了下游指标。
本文提出了一种用于术语感知翻译的数据选择方法，仅在模型输出与术语表相矛盾的困难样本上进行训练，从而提高了术语准确率，并描述了BSC系统在WMT26术语共享任务中的提交。
本文提出RMS-RSP，一种扰动敏感方法，用于选择接受理由监督的医学问题，提升问答系统的稳健准确性和语义一致性。
DICS引入了一种自评分指标用于视觉指令数据选择，通过确保样本内一致性，以显著更少的数据提升视觉语言模型性能，优于最先进方法。
该论文提出MASS框架，用于LLM后训练的层次化数据选择，通过流形覆盖和稀疏特征覆盖筛选高价值数据子集，实验表现优于现有基线。
Data-DPO是一种面向目标模型的LLM监督微调数据选择方法，通过单步探测学习数据偏好，并结合质量分数和多样性，在Vision-Flan和LLaVA-CoT数据集上超越了基线方法。
本研究重新审视了基于似然的数据选择用于推理微调，表明其有效性取决于模型容量和训练时长，并观察到容量依赖性的'快速拟合/慢速增益'模式。
Introduces CODS, an iterative critic-guided data selection method for offline reinforcement learning that retains task performance at low data budgets by selecting high-residual transitions over multiple rounds.
本文提出了一种与生成器无关的生成后策展方法，通过将真实类别拆分为规范的同质子集和无冗余的异质子集，并基于保真度-多样性准则对合成图像进行评分，从而选取信息丰富的合成图像子集。该方法持续优于现有的数据选择基线，并且在合成样本数量减少多达40%的情况下，仍能达到与真实数据相当的性能。
SIEVE是一种面向视觉-语言-动作模仿学习的结构感知数据选择方法，能够识别可复用的视觉运动基元和转换接口，仅使用50%的演示数据和训练步骤即可超越全数据训练。
提出了CodeBlock，一种用于代码大语言模型监督微调的结构感知稀疏监督框架。它选择高质量的指令-响应对，并将代码响应划分为语法连贯的编码项，仅对选中的项应用损失，从而在使用仅1.9%的监督响应令牌的情况下实现更强的pass@1率。
本文介绍了Spokes，一个基于G-Vendi分数的概率多样化框架，通过联合优化质量和多样性，在FineWeb和DCLM上实现了下游任务性能的显著提升。
本文表明，在低资源验证场景中，验证者仅能访问目标分布中碎片化且有偏的片段，此时数据选择会通过剪除全局相关的尾部模式，反而加速模型崩溃。作者提供了理论证明，并提出了一种协作代理参考机制作为缓解策略。