标签
本文提出了TELLME，一种用于大语言模型持续预训练的测试增强学习方法，它提升了领域特定知识的获取和长期记忆保持，在金融领域优于现有方法。
本文介绍了DiaLLM，一个将LLMs适应英语方言的框架，揭示了方言鲁棒性（理解）与生成（产生方言文本）之间的差距，并表明明确的变体目标对齐能改进生成，但不一定符合人类偏好。
本文研究了持续预训练过程中多语言专家语言模型面临的灾难性遗忘问题，并提出了五种参数对齐策略（硬层冻结、软正则化、事后权重还原和模型合并），以在32种训练语言中最小化语言习得成本的同时减轻遗忘。
本文证明了大语言模型严重偏向英语，并表明持续预训练在将模型适配到其他语言（尤其是文化理解方面）时，并不比从头训练更具成本优势。
# 将结构化生物医学知识注入语言模型：持续预训练与GraphRAG 来源：[https://arxiv.org/html/2604.16422](https://arxiv.org/html/2604.16422) ###### 摘要 将领域特定知识注入模型对于使语言模型（LMs）适应生物医学等专业领域至关重要。尽管目前大多数方法依赖于非结构化文本语料库，但本研究探讨了两种利用UMLS元术语表（Metathesaurus）中结构化知识的互补策略：
提出智能体持续预训练（Agentic Continual Pre-training）来构建智能体基础模型，在10个基准测试上使用AgentFounder-30B取得了最先进的结果，包括在BrowseComp-en上达到39.9%，在BrowseComp-zh上达到43.3%。