domain-fine-tuning

#domain-fine-tuning

RAFT：缓解遗忘的领域微调中的数据优化与自适应蒸馏

arXiv cs.LG ↗ · 2026-06-02 缓存

RAFT是一个两阶段框架，用于LLM的领域特定微调。它通过优化监督数据和使用带有自适应损失平衡的在线策略蒸馏来解决灾难性遗忘问题，在提升领域精度的同时恢复通用能力，取得了显著改进。

0 人收藏 0 人点赞