标签
由 Snowflake 赞助的《MIT Technology Review》报告显示,仅有 48% 的分析型智能体(analytics agent)洞察能够转化为业务改进,上下文不足和洞察过载被视为关键阻碍因素;而通过加强治理并添加语义层,"洞察领导者"(insight leaders)的这一比例超过 70%。
一篇讨论线程,介绍通过拟合缩放定律(scaling laws)来确定在合成改写上应投入多少算力以提升数据质量,以及基于改写数据训练的模型能否超越执行改写的模型本身的研究。
Trakkr Research 对 ChatGPT、Perplexity、Gemini、Claude 和 Google AI Overviews 引用的 1,285 条统计数据进行了测试,发现只有 40% 能追溯到得出相同结论的研究,而许多「僵尸数据」背后根本没有任何研究支撑。
一篇关于大语言模型数据优化的综述论文,系统梳理了数据感知维度(质量、难度、多样性、冗余性)以及数据选择、增强、重加权等优化技术,并探讨了该领域面临的挑战与未来方向。
本文综述了数据、信息、链接数据及知识图谱的质量评估研究,提出包含24个质量维度和相应度量指标的知识图谱质量评估框架,以评估LLM时代知识图谱的可信度与适用性。
一位实践者讲述了其AI研究智能体如何在10个精选网站上几乎零错误,却在200个真实域名上失败率超过30%。他得出结论:根本原因在于流水线无法区分「空结果」和「抓取失败」。引入抓取层面的置信度评分后,暴露出的坏数据行比之前任何提示词调优都要多。
作者认为缩放定律缺少一个参数 H —— 用于产生学习信号的人类努力/时间投入,而近年来大部分 AI 进步(ChatGPT 的 RLHF、编码/数学可验证任务、数据供应商的价值)源于 H 的扩展,而非仅仅模型规模或数据量。
Brussle 是一款在 Product Hunt 上推出的产品,用于校准 Jev 等 AI 模型在你自己的数据上的决策输出,当数据记录或模型发生变化时自动重新运行和拟合,并且仅在超越模型于留出结果上的表现时才应用修正。
该论文研究了 LLM 预训练数据采集中的爬虫预算分配问题,发现文档质量在主机层面存在显著聚集性,通过先采样少量页面再按质量深入爬取,可比统一深度或基于中心度的分配多收集数倍高质量页面。
一位从业者分享了一项涵盖五个领域(基础设施、数据、网络安全、治理、实施风险)的就绪检查,建议在界定全公司范围的 AI 智能体构建项目之前进行,并指出导致项目失败的是环境,而非智能体本身。
DatologyAI 推出了 Datology Curation Studio,这是一个面向自主训练模型团队的可定制前沿数据筛选平台,将数据质量定位为最终的算力倍增器。
本文提出一个可解释的、以表头为中心的框架,用于仅元数据场景下的列类型标注与数据质量评估,将表头映射为39种可解释类型并触发验证规则,生成单元格级数据质量问题实例及数据源级质量指标HeadersIQ,已在多个基准约12万列上评估。
CuratorMAS 提出了一种多智能体编排框架,通过探索、知识检索、评估、过滤和技能演化五个可编程阶段来自动化数据集策展,将噪声率降低多达 36.03 个百分点,并将下游 F1 分数提升多达 8.88 个百分点。
一位实践者指出:构建 AI agent 的真正难点不在于模型,而在于**数据质量、失败路径设计、流程发现、范围克制以及交接**——他还分享了具体的检查项与规则,用于决定什么应该自动化。
Jevotron 是一款命令行工具,可为 CSV、YAML、JSON 和 OBO 等文件提供多种 Jev 集成,实现一次性异常检测,将评估结果缓存到 SQLite 中,并导出带有可见概率和证据的审查报告。
本文研究了无标注的 AI 生成网页文本如何影响语言模型预训练:训练了 800 个模型并拟合新的缩放定律。研究发现,AI 文本在早期对数据匮乏的模型有益,但对以人类文本为主的数据预算很快转为有害;作者提出了一个将收益项与危害项分开的缩放定律,其效果优于现有定律,并开源了 WildAI 83B token 语料库及全部模型。
何纪言老师和中关村学院的7名博士生在3个月内从零开始训练了一个7B模型,达到了7B模型类别的最先进性能,分享了高效训练和数据质量的见解。
Zilliz的首席技术官James Luan认为,随着AI智能体在企业数据上行动,数据基础设施变得越来越关键,强调了数据质量、新鲜度和适当权限的必要性。
文章详细描述了一个试点项目,团队为RAG系统测试客户数据,最初由于文档冲突和检索不准确等问题,准确率仅为40%。通过路由优化、数据清洗和缩写映射,准确率提升至约90%,突显了数据准备在成功AI转型中的关键作用。
皮尤研究中心一项研究发现,虽然陷阱问题、自动化预筛选等方法能降低在线自选调查中虚假受访者带来的误差,但尚无绝对有效的解决方案,且使用选民档案匹配可能反而增加误差。