持续学习前沿模型用于SovereignAI. 技术报告 + 开放权重模型 [R]

报告：https://huggingface.co/spaces/tri-fair-lab/publications/blob/main/Thomson_1_0_Technical_Report.pdf 前沿模型的开发通常被认为仅由少数资金雄厚的参与者专属负责，这在开发者与现代AI多样化用户群之间造成了信息、经济和权力的不对称。近期公共讨论承认了这一关切，呼吁SovereignAI（组织独立构建、部署和治理AI使用的能力），但通常在资金设置多样化的短期内如何实现方面提供很少的具体建议。在本报告中，我们主张通过易于获取的开放权重模型进行持续学习，各种机构都能实现前沿性能。与现有的有限方法如小规模微调、提示工程或使用冻结模型的工具增强相比，我们的持续学习方法利用现代中后期训练堆栈的有效性，同时引入保障措施，在每个训练阶段保持可塑性和稳定性，并力求对参数进行最少数量的高影响干预。这一策略导致的模型改进与通常在多个连续模型世代中看到的增益相当。至关重要的是，这些结果可以通过远低于通常认为的计算和人员预算实现，使得拥有SovereignAI堆栈的大部分（模型、工具基础设施、价值观和数据隐私）对更广泛的参与者变得可行。为了证明这一点，我们推出了Thomson，一个新的通用前沿模型，训练时特别关注高风险专业工作：通常预测将通过AI实现大幅生产力提升的领域。通过对持续学习、数据中心化和效率的独特关注，我们证明Thomson在广泛的领域和能力上与最新的前沿模型具有竞争力，范围从代理任务到安全性、法律、税务和多语言能力，再到全面的大规模深度研究。彻底的评估显示了一种独特的π形模式：在广泛的能力上取得显著改进（包括那些未明确针对的能力），同时几乎完全消除了狭窄领域适应中常见的遗忘问题。