标签
一篇关于大模型领域“数据 Taste”的深度实践文章,围绕数据采集、筛选、使用、质量与评测的完整闭环,系统梳理了爬虫、开源数据集、合成数据等来源,以及 Data Selection、Chinchilla Scaling Law、ATLAS、DeepSeek-R1、Nemotron 等研究与训练配方的核心结论。
BotsCrew 分析了发送给一款专为汽车经销商销售代表打造的内部 AI 助手的 900 条消息,发现那些未获解答的问题暴露了竞争对手数据的缺失——这一数据问题无法通过任何 API 集成或提示词工程来解决。
本文提出了一种基于置信度的材料数据质量评估框架,将领域知识规则与图结构学习相结合,包括九维质量先验、样本-特征二部图传播、弱监督图注意力机制,以及用于历史参考评分的 Memory-GAT 模块。实验表明,该框架在 ODDS 基准测试以及 mp_20 和 MACE 子集等材料数据集上提升了 AUC-ROC 和 R²。
由 Snowflake 赞助的《MIT Technology Review》报告显示,仅有 48% 的分析型智能体(analytics agent)洞察能够转化为业务改进,上下文不足和洞察过载被视为关键阻碍因素;而通过加强治理并添加语义层,"洞察领导者"(insight leaders)的这一比例超过 70%。
一篇讨论线程,介绍通过拟合缩放定律(scaling laws)来确定在合成改写上应投入多少算力以提升数据质量,以及基于改写数据训练的模型能否超越执行改写的模型本身的研究。
Trakkr Research 对 ChatGPT、Perplexity、Gemini、Claude 和 Google AI Overviews 引用的 1,285 条统计数据进行了测试,发现只有 40% 能追溯到得出相同结论的研究,而许多「僵尸数据」背后根本没有任何研究支撑。
一篇关于大语言模型数据优化的综述论文,系统梳理了数据感知维度(质量、难度、多样性、冗余性)以及数据选择、增强、重加权等优化技术,并探讨了该领域面临的挑战与未来方向。
本文综述了数据、信息、链接数据及知识图谱的质量评估研究,提出包含24个质量维度和相应度量指标的知识图谱质量评估框架,以评估LLM时代知识图谱的可信度与适用性。
一位实践者讲述了其AI研究智能体如何在10个精选网站上几乎零错误,却在200个真实域名上失败率超过30%。他得出结论:根本原因在于流水线无法区分「空结果」和「抓取失败」。引入抓取层面的置信度评分后,暴露出的坏数据行比之前任何提示词调优都要多。
作者认为缩放定律缺少一个参数 H —— 用于产生学习信号的人类努力/时间投入,而近年来大部分 AI 进步(ChatGPT 的 RLHF、编码/数学可验证任务、数据供应商的价值)源于 H 的扩展,而非仅仅模型规模或数据量。
Brussle 是一款在 Product Hunt 上推出的产品,用于校准 Jev 等 AI 模型在你自己的数据上的决策输出,当数据记录或模型发生变化时自动重新运行和拟合,并且仅在超越模型于留出结果上的表现时才应用修正。
该论文研究了 LLM 预训练数据采集中的爬虫预算分配问题,发现文档质量在主机层面存在显著聚集性,通过先采样少量页面再按质量深入爬取,可比统一深度或基于中心度的分配多收集数倍高质量页面。
一位从业者分享了一项涵盖五个领域(基础设施、数据、网络安全、治理、实施风险)的就绪检查,建议在界定全公司范围的 AI 智能体构建项目之前进行,并指出导致项目失败的是环境,而非智能体本身。
DatologyAI 推出了 Datology Curation Studio,这是一个面向自主训练模型团队的可定制前沿数据筛选平台,将数据质量定位为最终的算力倍增器。
本文提出一个可解释的、以表头为中心的框架,用于仅元数据场景下的列类型标注与数据质量评估,将表头映射为39种可解释类型并触发验证规则,生成单元格级数据质量问题实例及数据源级质量指标HeadersIQ,已在多个基准约12万列上评估。
CuratorMAS 提出了一种多智能体编排框架,通过探索、知识检索、评估、过滤和技能演化五个可编程阶段来自动化数据集策展,将噪声率降低多达 36.03 个百分点,并将下游 F1 分数提升多达 8.88 个百分点。
一位实践者指出:构建 AI agent 的真正难点不在于模型,而在于**数据质量、失败路径设计、流程发现、范围克制以及交接**——他还分享了具体的检查项与规则,用于决定什么应该自动化。
Jevotron 是一款命令行工具,可为 CSV、YAML、JSON 和 OBO 等文件提供多种 Jev 集成,实现一次性异常检测,将评估结果缓存到 SQLite 中,并导出带有可见概率和证据的审查报告。
本文研究了无标注的 AI 生成网页文本如何影响语言模型预训练:训练了 800 个模型并拟合新的缩放定律。研究发现,AI 文本在早期对数据匮乏的模型有益,但对以人类文本为主的数据预算很快转为有害;作者提出了一个将收益项与危害项分开的缩放定律,其效果优于现有定律,并开源了 WildAI 83B token 语料库及全部模型。
何纪言老师和中关村学院的7名博士生在3个月内从零开始训练了一个7B模型,达到了7B模型类别的最先进性能,分享了高效训练和数据质量的见解。