论文页面 - InfoLaw：基于质量加权混合数据与重复的大语言模型信息缩放定律

来源：https://huggingface.co/papers/2605.02364

摘要

InfoLaw 是一种数据感知的缩放框架，它根据 token 消耗量、模型规模、数据混合权重和重复次数来预测模型损失，从而在不同计算预算下实现高效的数据配比选择。

在 LLM 预训练（https://huggingface.co/papers?q=pretraining）中提升高质量数据的权重通常能改善性能，但在数据受限的情况下，特别是在过拟合时，更强的权重提升会增加重复次数（https://huggingface.co/papers?q=repetition），并可能导致性能下降。然而，标准缩放定律（https://huggingface.co/papers?q=scaling%20laws）无法在不同混合配比或重复次数（https://huggingface.co/papers?q=repetition）下可靠地外推，这使得在缩放过程中选择最优数据配比的问题变得不确定。为了解决这个问题，我们引入了 InfoLaw（信息缩放定律（https://huggingface.co/papers?q=Information%20Scaling%20Laws）），一种数据感知的缩放框架（https://huggingface.co/papers?q=data-aware%20scaling%20framework），它根据消耗的 token、模型规模（https://huggingface.co/papers?q=model%20size）、数据混合权重（https://huggingface.co/papers?q=data%20mixture%20weights）和重复次数（https://huggingface.co/papers?q=repetition）来预测损失。核心思想是将预训练（https://huggingface.co/papers?q=pretraining）建模为信息积累（https://huggingface.co/papers?q=information%20accumulation），其中质量控制信息密度，而重复次数（https://huggingface.co/papers?q=repetition）导致规模依赖的边际效益递减。我们首先收集在不同规模、质量分布和重复次数（https://huggingface.co/papers?q=repetition）水平的数据集上进行训练后的模型性能数据。然后，我们建立信息模型，以便信息能够准确预测这些模型性能。InfoLaw 在未见过数据配比和更大规模运行（高达 7B 参数，4250 亿 token）上预测性能，损失的平均绝对误差为 0.15%，最大绝对误差为 0.96%，并且它能可靠地外推到不同的过拟合水平，从而在不同计算预算下实现高效的数据配比选择。

查看 arXiv 页面 (https://arxiv.org/abs/2605.02364) 查看 PDF (https://arxiv.org/pdf/2605.02364) 添加到收藏夹 (https://huggingface.co/login?next=%2Fpapers%2F2605.02364)

在您的智能体中获取此论文：

hf papers read 2605\.02364

还没有最新的 CLI？curl \-LsSf https://hf\.co/cli/install\.sh \| bash

引用此论文的模型 0

无模型链接此论文

在模型 README.md 中引用 arxiv.org/abs/2605.02364 即可从此页面链接。

引用此论文的数据集 0

无数据集链接此论文

在数据集 README.md 中引用 arxiv.org/abs/2605.02364 即可从此页面链接。

引用此论文的 Spaces 0

无 Space 链接此论文

在 Space README.md 中引用 arxiv.org/abs/2605.02364 即可从此页面链接。

包含此论文的收藏 0

无收藏包含此论文

将此论文添加到收藏 (https://huggingface.co/new-collection) 即可从此页面链接。