data-quality

标签

Cards List
#data-quality

@allen_datumwell: https://x.com/allen_datumwell/status/2123813175644782633

X AI KOLs Timeline ↗ · 18小时前 缓存

一篇关于大模型领域“数据 Taste”的深度实践文章,围绕数据采集、筛选、使用、质量与评测的完整闭环,系统梳理了爬虫、开源数据集、合成数据等来源,以及 Data Selection、Chinchilla Scaling Law、ATLAS、DeepSeek-R1、Nemotron 等研究与训练配方的核心结论。

0 人收藏 0 人点赞
#data-quality

我们阅读了发给我们开发的销售助手的900条消息。真正有价值的是它回答不了的问题。

Reddit r/AI_Agents ↗ · 21小时前

BotsCrew 分析了发送给一款专为汽车经销商销售代表打造的内部 AI 助手的 900 条消息,发现那些未获解答的问题暴露了竞争对手数据的缺失——这一数据问题无法通过任何 API 集成或提示词工程来解决。

0 人收藏 0 人点赞
#data-quality

基于领域知识与图结构学习的置信度驱动材料数据质量评估

arXiv cs.LG ↗ · 2天前 缓存

本文提出了一种基于置信度的材料数据质量评估框架,将领域知识规则与图结构学习相结合,包括九维质量先验、样本-特征二部图传播、弱监督图注意力机制,以及用于历史参考评分的 Memory-GAT 模块。实验表明,该框架在 ODDS 基准测试以及 mp_20 和 MACE 子集等材料数据集上提升了 AUC-ROC 和 R²。

0 人收藏 0 人点赞
#data-quality

# 提升智能体分析中洞察的质量

MIT Technology Review ↗ · 2026-11-02 缓存

由 Snowflake 赞助的《MIT Technology Review》报告显示,仅有 48% 的分析型智能体(analytics agent)洞察能够转化为业务改进,上下文不足和洞察过载被视为关键阻碍因素;而通过加强治理并添加语义层,"洞察领导者"(insight leaders)的这一比例超过 70%。

0 人收藏 0 人点赞
#data-quality

@AhmedSQRD:如今,合成改写已成为提升数据质量以及在数据有限时的标准做法。但你该投入多少算力来进行改写呢?

X AI KOLs Following ↗ · 2026-10-30 缓存

一篇讨论线程,介绍通过拟合缩放定律(scaling laws)来确定在合成改写上应投入多少算力以提升数据质量,以及基于改写数据训练的模型能否超越执行改写的模型本身的研究。

0 人收藏 0 人点赞
#data-quality

僵尸数据:AI 引用的数字究竟从何而来

Hacker News Top ↗ · 2026-10-29 缓存

Trakkr Research 对 ChatGPT、Perplexity、Gemini、Claude 和 Google AI Overviews 引用的 1,285 条统计数据进行了测试,发现只有 40% 能追溯到得出相同结论的研究,而许多「僵尸数据」背后根本没有任何研究支撑。

0 人收藏 0 人点赞
#data-quality

面向大语言模型的数据优化:综述

arXiv cs.AI ↗ · 2026-10-27 缓存

一篇关于大语言模型数据优化的综述论文,系统梳理了数据感知维度(质量、难度、多样性、冗余性)以及数据选择、增强、重加权等优化技术,并探讨了该领域面临的挑战与未来方向。

0 人收藏 0 人点赞
#data-quality

大语言模型时代的知识图谱质量评估:一个概念框架

arXiv cs.CL ↗ · 2026-10-26

本文综述了数据、信息、链接数据及知识图谱的质量评估研究,提出包含24个质量维度和相应度量指标的知识图谱质量评估框架,以评估LLM时代知识图谱的可信度与适用性。

0 人收藏 0 人点赞
#data-quality

我们的研究智能体在10个网站上表现出色,到200个就崩溃了

Reddit r/AI_Agents ↗ · 2026-10-20

一位实践者讲述了其AI研究智能体如何在10个精选网站上几乎零错误,却在200个真实域名上失败率超过30%。他得出结论:根本原因在于流水线无法区分「空结果」和「抓取失败」。引入抓取层面的置信度评分后,暴露出的坏数据行比之前任何提示词调优都要多。

0 人收藏 0 人点赞
#data-quality

@shikibmehri: 我认为缩放定律中缺少一个参数:H —— 用于产生学习信号的人类努力/时间

X AI KOLs Following ↗ · 2026-10-15 缓存

作者认为缩放定律缺少一个参数 H —— 用于产生学习信号的人类努力/时间投入,而近年来大部分 AI 进步(ChatGPT 的 RLHF、编码/数学可验证任务、数据供应商的价值)源于 H 的扩展,而非仅仅模型规模或数据量。

0 人收藏 0 人点赞
#data-quality

布鲁塞尔

Product Hunt ↗ · 2026-10-15 缓存

Brussle 是一款在 Product Hunt 上推出的产品,用于校准 Jev 等 AI 模型在你自己的数据上的决策输出,当数据记录或模型发生变化时自动重新运行和拟合,并且仅在超越模型于留出结果上的表现时才应用修正。

0 人收藏 0 人点赞
#data-quality

面向大语言模型预训练数据的主机感知网络爬取

arXiv cs.CL ↗ · 2026-10-12 缓存

该论文研究了 LLM 预训练数据采集中的爬虫预算分配问题,发现文档质量在主机层面存在显著聚集性,通过先采样少量页面再按质量深入爬取,可比统一深度或基于中心度的分配多收集数倍高质量页面。

0 人收藏 0 人点赞
#data-quality

智能体本身很少是难点。在确定任何公司级 AI 智能体项目的范围之前,我都会先做以下准备度检查。

Reddit r/AI_Agents ↗ · 2026-10-11

一位从业者分享了一项涵盖五个领域(基础设施、数据、网络安全、治理、实施风险)的就绪检查,建议在界定全公司范围的 AI 智能体构建项目之前进行,并指出导致项目失败的是环境,而非智能体本身。

0 人收藏 0 人点赞
#data-quality

@latkins:祝贺出色的团队 @datologyai!无数的汗水、心血与创意才让这一切成为可能……

X AI KOLs Timeline ↗ · 2026-10-09 缓存

DatologyAI 推出了 Datology Curation Studio,这是一个面向自主训练模型团队的可定制前沿数据筛选平台,将数据质量定位为最终的算力倍增器。

0 人收藏 0 人点赞
#data-quality

面向大规模语义表解读与数据质量评估的可解释、以表头为中心的框架

arXiv cs.AI ↗ · 2026-10-09 缓存

本文提出一个可解释的、以表头为中心的框架,用于仅元数据场景下的列类型标注与数据质量评估,将表头映射为39种可解释类型并触发验证规则,生成单元格级数据质量问题实例及数据源级质量指标HeadersIQ,已在多个基准约12万列上评估。

0 人收藏 0 人点赞
#data-quality

CuratorMAS:通过多智能体编排自动化数据集策展

arXiv cs.AI ↗ · 2026-10-08 缓存

CuratorMAS 提出了一种多智能体编排框架,通过探索、知识检索、评估、过滤和技能演化五个可编程阶段来自动化数据集策展,将噪声率降低多达 36.03 个百分点,并将下游 F1 分数提升多达 8.88 个百分点。

0 人收藏 0 人点赞
#data-quality

构建 AI Agent 最难的部分,与 AI 毫无关系

Reddit r/AI_Agents ↗ · 2026-10-02

一位实践者指出:构建 AI agent 的真正难点不在于模型,而在于**数据质量、失败路径设计、流程发现、范围克制以及交接**——他还分享了具体的检查项与规则,用于决定什么应该自动化。

0 人收藏 0 人点赞
#data-quality

Jevotron:在命令行中实现多种 Jev 集成

Hacker News Top ↗ · 2026-10-01 缓存

Jevotron 是一款命令行工具,可为 CSV、YAML、JSON 和 OBO 等文件提供多种 Jev 集成,实现一次性异常检测,将评估结果缓存到 SQLite 中,并导出带有可见概率和证据的审查报告。

0 人收藏 0 人点赞
#data-quality

一个 AI token 值多少钱?野生 AI 生成网页文本的缩放定律

Hugging Face Daily Papers ↗ · 2026-09-30 缓存

本文研究了无标注的 AI 生成网页文本如何影响语言模型预训练:训练了 800 个模型并拟合新的缩放定律。研究发现,AI 文本在早期对数据匮乏的模型有益,但对以人类文本为主的数据预算很快转为有害;作者提出了一个将收益项与危害项分开的缩放定律,其效果优于现有定律,并开源了 WildAI 83B token 语料库及全部模型。

0 人收藏 0 人点赞
#data-quality

@bojie_li: 刚刚看完中关村学院的何纪言老师带领7名博士生从零开始训练一个7B模型……

X AI KOLs Timeline ↗ · 2026-09-25 缓存

何纪言老师和中关村学院的7名博士生在3个月内从零开始训练了一个7B模型,达到了7B模型类别的最先进性能,分享了高效训练和数据质量的见解。

0 人收藏 0 人点赞
Next →
← 返回首页

提交意见反馈