@ZyphraAI：Zyphra Research 发布 PUFFER，一种用于大规模语言模型数据集的新型增量模糊去重系统。PUFFER 运行……

X AI KOLs Timeline 工具
deduplication fuzzy-matching llm-datasets cpu-optimization open-source data-preprocessing

摘要

Zyphra Research 发布 PUFFER，这是一种针对大规模语言模型数据集的增量模糊去重系统，完全在 CPU 上运行，比现有方法快 11-35 倍，已根据 Apache 2.0 协议开源。

Zyphra Research 发布 PUFFER，这是一种用于大规模语言模型数据集的新型增量模糊去重系统。 PUFFER 完全在 CPU 上运行，并实现了比现有方法快 11-35 倍的速度提升。 我们在内部将 PUFFER 用于自己的训练数据集，并根据 Apache 2.0 许可证发布它。https://t.co/I4XygVZkFi
查看原文
查看缓存全文

缓存时间: 2026/09/02 13:57

Zyphra Research 发布 PUFFER：一种面向大语言模型规模数据集的新型增量式模糊去重系统。

该系统完全基于 CPU 运行，相比现有方法可实现 11-35 倍性能提升。

我们在内部训练数据集中已应用 PUFFER，并在 Apache 2.0 许可证下开源。https://t.co/I4XygVZkFi

相似文章

@Zai_org: https://x.com/Zai_org/status/2057216685040443743

X AI KOLs Timeline

本文介绍了ZCube，一种由Z.ai、Harnets.AI和清华大学提出的新型网络架构，用于解决Prefill-Decode分离式LLM推理集群中由拓扑引起的拥塞问题。在GLM-5.1编码工作负载的生产部署中，网络CapEx降低了33%，吞吐量提升了15%，TTFT P99延迟降低了40.6%。

OpenZL

Lobsters Hottest

OpenZL 是一个压缩库，能够为特定数据格式生成专门的压缩器，以高速实现高压缩比，适用于数据中心工作负载，如 AI 处理。