llm-pretraining

标签

#llm-pretraining

InfoLaw：基于质量加权混合数据与重复度的大型语言模型信息缩放定律

Hugging Face Daily Papers ↗ · 2026-05-04 缓存

InfoLaw 是一种数据感知型缩放框架，能够根据 token 消耗量、模型规模、数据混合权重及重复度预测模型损失，从而在不同算力预算下实现高效的数据配方选择。

0 人收藏 0 人点赞

← 返回首页

提交意见反馈