标签
UniBrowse引入了一个统一的数据流水线，用于多模态BrowseComp任务，生成涵盖三种信息流模式的训练数据，在五个基准测试上达到最先进性能，超越GPT-5和Gemini模型。
一份构建结构化智能体轨迹数据集的实用指南，用于训练使用工具的智能体，强调设计包含六个关键部分的轨迹的重要性，并将轨迹视为数据资产而非日志。
Crawl4AI 是一个专为 LLM 优化的开源爬虫，可将网页内容转换为干净的结构化 Markdown，支持智能内容过滤、LLM 驱动提取、浏览器自动化等功能，适合 RAG 和 AI Agent 场景。
Crawl4AI 是一个开源的网页爬虫工具，能将网页内容转换为干净的 Markdown 格式，专为 LLM 的 RAG、Agent 和数据管道设计。零 API Key，快速输出结构化数据。
Photoroom 详细介绍了训练 PRX 的数据策略，包括组装多样化数据集、使用 VLM 重新生成描述，以及利用 Mosaic Data Shards 实现高效训练。
作者讨论了将AI记忆摄入从数千份扩展到数百万份文档的架构，强调编排和并行性而非原始计算能力，并使用Prefect进行工作流管理。
作者提出以IdeaBlock（问题-答案+治理字段）替代传统chunk来改进RAG知识单元，已开源Blockify工具，可减少40倍语料、3倍token并提升2.3倍相关性。
机器人团队正在从头重建数据栈，以克服“数据层税”对机器人学习迭代和扩展的拖累，因为现有基础设施无法处理多速率和多模态数据。
ProfiLLM 提出了一种智能LLM流水线，能够从平台级行为日志中生成效用对齐的用户画像，用于工业网约车调度，在滴滴的生产环境中实现了结果预测和GMV的显著提升。
Artie 是一款自助服务产品，用于将数据实时复制到数据仓库，提供亚分钟级延迟、精确一次投递，且无需管理 Kafka 或 DMS 基础设施即可轻松部署。
TinyFish Bigset 是一个开源的多智能体系统，可将自然语言提示转换为来自实时网络的结构化数据集，具备模式推断、自主研究代理和定时刷新功能。它通过 Docker 自托管运行，并基于 TinyFish 的搜索基础设施构建。
DataChain 是一个 Python 库，为 S3、GCS 和 Azure 中的非结构化文件添加上下文层，将其转化为可版本化、可查询的带类型数据集，支持并行处理、增量更新和 Agent 工作流集成。
SmartDirector是一个通过多关键帧增强视频生成的框架，旨在改善叙事结构和时间节奏，采用低分辨率生成和高分辨率优化的两阶段流程。
挪威国家图书馆正在使用2 PB的华为OceanStor Dorado闪存存储构建一个主权挪威LLM，用于其AI训练数据管道，以满足对本地语言模型的需求。
Snowflake现在支持基于Ray的作业级批量推理，通过单一API调用即可在数百万非结构化数据点上执行分布式GPU，从而扩展模型推理。
本文讨论了强化学习数据质量控制的重要性，概述了当前数据供应商的不足之处以及前沿AI实验室用于评估RL数据的标准。
Anyscale正在举办一场动手虚拟实验室课程，教授开发者如何使用Ray构建和扩展数据管道，涵盖视频数据筛选、分布式GPU推理以及CPU/GPU流式管道。