标签
该论文提出了一种经验性加法幂律，将长上下文持续预训练（LCCP）的收益与模型规模及短/长上下文token预算关联起来，并引入Constant-Last4协议实现稳定监控。实验表明LCCP的收益在评测范围内无明显饱和迹象，主张不应过早停止长上下文持续预训练。
论文提出了 DivMoE，这是首个通过领域专家初始化和多样性约束路由，从稠密模型实现细粒度混合专家（Mixture-of-Experts）升级改造的框架，解决了此前细粒度升级方法中存在的路由坍缩和精度退化问题，并在 15 项基准测试上进行了验证。
谱移引入了一种谱重参数化方法，通过重塑衰减谱来有效扩展门控 DeltaNet 模型的上下文窗口，并通过持续预训练提升其长上下文处理能力。
本文提出了TELLME，一种用于大语言模型持续预训练的测试增强学习方法，它提升了领域特定知识的获取和长期记忆保持，在金融领域优于现有方法。
本文介绍了DiaLLM，一个将LLMs适应英语方言的框架，揭示了方言鲁棒性（理解）与生成（产生方言文本）之间的差距，并表明明确的变体目标对齐能改进生成，但不一定符合人类偏好。
本文研究了持续预训练过程中多语言专家语言模型面临的灾难性遗忘问题，并提出了五种参数对齐策略（硬层冻结、软正则化、事后权重还原和模型合并），以在32种训练语言中最小化语言习得成本的同时减轻遗忘。
本文证明了大语言模型严重偏向英语，并表明持续预训练在将模型适配到其他语言（尤其是文化理解方面）时，并不比从头训练更具成本优势。
# 将结构化生物医学知识注入语言模型：持续预训练与GraphRAG 来源：[https://arxiv.org/html/2604.16422](https://arxiv.org/html/2604.16422) ###### 摘要 将领域特定知识注入模型对于使语言模型（LMs）适应生物医学等专业领域至关重要。尽管目前大多数方法依赖于非结构化文本语料库，但本研究探讨了两种利用UMLS元术语表（Metathesaurus）中结构化知识的互补策略：
提出智能体持续预训练（Agentic Continual Pre-training）来构建智能体基础模型，在10个基准测试上使用AgentFounder-30B取得了最先进的结果，包括在BrowseComp-en上达到39.9%，在BrowseComp-zh上达到43.3%。