标签
该论文研究在数据筛选（如去重）之后实现精确机器遗忘的问题，提出了一种“保留契约”，说明服务需要保留哪些信息才能在删除请求后精确复现训练过程，并在AskUbuntu数据集上验证了精确成员资格修复的有效性。
一位创作者分享了运行无人值守新闻播客流水线的经验：这套系统在19个月内已制作超过6,000期节目。他强调，阻塞式评估循环、基于Postgres的去重和跨模型审查，比底层模型本身更重要。
一位开发者分享了他在构建 Apex-2 过程中的经验教训。Apex-2 是一个小型开源大语言模型，使用约 80B tokens 训练，成本约 2000 美元，涉及 GPU 瓶颈、基于 DiLoCo 风格的 GH200 实例分布式训练，以及对 FineWeb-Edu 和 DCLM 数据集的激进 MinHash 去重。
本文通过模拟测试探讨了代理工作流中批准与完成状态的区别，强调了幂等性和正确处理重试以避免重复操作的重要性。
Marin 构建了可扩展的基础设施，用于处理 Hugging Face 上开放数据集中的 25T tokens，以训练其 535B 语言模型，并强调开放社区的力量。
GVD 引入了一个用于文档仓库中受控版本管理与去重的统一框架，通过使用双向规则对齐和冲突解决策略，结合本地编码器模型，在企业数据上实现高性能。
本文描述了在AI验证管道中测试降低阅读成本的方法，同时保持高召回率和少数证据，指出了当前方法的挑战，并邀请社区参与。
Zyphra Research 发布 PUFFER，这是一种针对大规模语言模型数据集的增量模糊去重系统，完全在 CPU 上运行，比现有方法快 11-35 倍，已根据 Apache 2.0 协议开源。
一位没有编程背景的卡车司机使用Next.js和Supabase构建了一个AI新闻聚合器，能够从多个来源汇总和去重新闻。
作者描述为新闻阅读AI智能体构建了一个内存层，以处理去重问题并提升跨会话连续性，采用了SQLite、向量存储以及Python API、CLI和MCP服务器。
提出了一种用于LLM预训练的可扩展子文档去重框架，将重复检测与副本保留分离，采用频次与长度感知策略。在FineWeb-Edu和代码网页语料上的实验表明，模型性能得到提升。
本文介绍了一个生产级抽取层，利用本地托管的经过调优的Qwen大语言模型，将异构文档转换为与本体对齐的知识图谱，并采用本体引导的提示、多阶段去重和基于嵌入的解析。在情报语料上的评估表明，搜索召回率从约70%提升到95%，且没有错误合并。
一个故意为空的16.5万亿参数模型被上传到Hugging Face，暴露了参数量仅由safetensors头部计算得出，且Xet的内容定义去重极大减少了上传带宽，但存储配额仍按完整逻辑大小计费。
Hugging Face 推出 Storage Buckets，这是一项面向 AI 团队的可扩展对象存储服务，采用按 TB 计费、Xet 去重、内置 CDN，且无 git 开销，专为数据集、模型检查点和 ML 工件设计。
一项新研究量化了语言模型预训练中重复数据造成的损害，表明即使是激进的去重也会留下有害的重复，可能浪费多达三分之一的算力 FLOPs。
本文系统研究了语言模型预训练过程中精确文档重复所造成的损害，表明以中等次数重复中等规模的子集对性能的损害最大，并且重复可能导致高达33%的计算浪费（以计算等效损失衡量）。
一份关于为AI智能体优化知识图谱摄入的详细指南，提出了一个五步流水线（提取、解析、嵌入、去重、路由），以防止图谱损坏并提高检索质量。
本帖子讨论了使用知识图谱构建统一记忆层的最佳实践，强调将实体解析（命名）与去重（身份）分离，以避免图污染。还重点介绍了使用像 PrefectIO 这样的编排工具，通过检查点和缓存来管理昂贵的 LLM 提取管道。
Hugging Face 宣布推出 Storage Buckets，这是一种适用于大规模不断演变的训练数据集的存储解决方案，内置 CDN 和去重功能，并获得 CommonCrawl 的推荐。