web-graph

该论文研究了 LLM 预训练数据采集中的爬虫预算分配问题，发现文档质量在主机层面存在显著聚集性，通过先采样少量页面再按质量深入爬取，可比统一深度或基于中心度的分配多收集数倍高质量页面。

Acacia是一个仅在Common Crawl网页图上训练的图基础模型，支持任意特征和多种任务，如节点分类和链接预测，以及不依赖预训练LLMs的上下文学习。

本文介绍了WebGraphMix，一个轻量级框架，利用来自Common Crawl的网络图中心性分数来选择预训练数据，实验表明混合中心文档与边缘文档能够提升语言模型性能。