标签
一位实践者讲述了其AI研究智能体如何在10个精选网站上几乎零错误，却在200个真实域名上失败率超过30%。他得出结论：根本原因在于流水线无法区分「空结果」和「抓取失败」。引入抓取层面的置信度评分后，暴露出的坏数据行比之前任何提示词调优都要多。
UniData 提出一个通用多模态指令生成流水线，将简单用户需求扩展为多轮多模态指令，并构建了涵盖九种模态的 20,000 条 UniDataset，以提升多模态大模型的数据质量与能力。
本文探讨了TypeSafe AI的新模型Jev——该模型可将自然语言转换为类型化决策——以及其与Apache Arrow集成以提升数据管道性能的潜力。
本文提出了HybridCUA，一种结合GUI和CLI交互的计算机使用代理方法，采用两阶段训练框架，包括监督微调和强化学习，以提高任务准确性和跨平台通用性。
TabFM-Auto引入了一个自进化流水线系统，该系统将表格基础模型与语言模型代理配对，以迭代方式优化数据处理，在TabArena和MLE-Bench基准测试中取得顶尖性能，并具有转移到其他模型的能力。
为客户构建AI报告生成器揭示出大部分工作量用于数据标准化和模板化，而模型只是一个次要组件，强调了数据管道相对于生成的首要性。
这篇文章详细介绍了在百万小时规模上训练Dyna-2 AI模型的基础设施和挑战，重点关注数据生命周期和GPU集群优化。
作者构建了一个流水线，将6.6万集播客转录，提取并聚类超过70万个观点到二维语义地图中，用于追踪投资叙事，并过滤掉AI生成的内容。
这本freeCodeCamp手册教读者如何使用真实洪水数据在Python中构建生产级ETL管道，涵盖增量加载、类型强制转换、去重和幂等性。
Anthropic首席工程师的8步流水线将混乱数据转化为自动更新的图谱，生产效率提升42%，并赢得120万美元奖金。
DataFlow-Harness 引入了一个平台，该平台引导LLM代理通过增量变更构建可编辑的基于DAG的数据管道，与脚本生成基线相比，实现了高通过率和降低成本。
UniBrowse引入了一个统一的数据流水线，用于多模态BrowseComp任务，生成涵盖三种信息流模式的训练数据，在五个基准测试上达到最先进性能，超越GPT-5和Gemini模型。
一份构建结构化智能体轨迹数据集的实用指南，用于训练使用工具的智能体，强调设计包含六个关键部分的轨迹的重要性，并将轨迹视为数据资产而非日志。
Crawl4AI 是一个专为 LLM 优化的开源爬虫，可将网页内容转换为干净的结构化 Markdown，支持智能内容过滤、LLM 驱动提取、浏览器自动化等功能，适合 RAG 和 AI Agent 场景。
Crawl4AI 是一个开源的网页爬虫工具，能将网页内容转换为干净的 Markdown 格式，专为 LLM 的 RAG、Agent 和数据管道设计。零 API Key，快速输出结构化数据。
Photoroom 详细介绍了训练 PRX 的数据策略，包括组装多样化数据集、使用 VLM 重新生成描述，以及利用 Mosaic Data Shards 实现高效训练。
作者讨论了将AI记忆摄入从数千份扩展到数百万份文档的架构，强调编排和并行性而非原始计算能力，并使用Prefect进行工作流管理。
作者提出以IdeaBlock（问题-答案+治理字段）替代传统chunk来改进RAG知识单元，已开源Blockify工具，可减少40倍语料、3倍token并提升2.3倍相关性。
机器人团队正在从头重建数据栈，以克服“数据层税”对机器人学习迭代和扩展的拖累，因为现有基础设施无法处理多速率和多模态数据。