deduplication

一份关于为AI智能体优化知识图谱摄入的详细指南，提出了一个五步流水线（提取、解析、嵌入、去重、路由），以防止图谱损坏并提高检索质量。

本帖子讨论了使用知识图谱构建统一记忆层的最佳实践，强调将实体解析（命名）与去重（身份）分离，以避免图污染。还重点介绍了使用像 PrefectIO 这样的编排工具，通过检查点和缓存来管理昂贵的 LLM 提取管道。

Hugging Face 宣布推出 Storage Buckets，这是一种适用于大规模不断演变的训练数据集的存储解决方案，内置 CDN 和去重功能，并获得 CommonCrawl 的推荐。

Velonus 是一个面向 Python 的开源应用安全扫描器，可通过一条命令运行五种安全工具，标准化发现结果并去重噪声，支持 SARIF 输出和 CI 集成。