@akshay_pachaar: 如果要定制LLM，我会学习的微调技术：收藏此推。1. LoRA 2. QLoRA 3. Prefix Tuning 4. A…
摘要
该推文列出了15种LLM微调技术，并介绍了ART（Agent Reinforcement Trainer），这是OpenPipe的一个开源框架，用于使用GRPO训练多步骤代理，并通过W&B Training提供无服务器强化学习支持。
如果我要定制LLM，我会学习的微调技术：
收藏此推。
1. LoRA
2. QLoRA
3. Prefix Tuning
4. Adapter Tuning
5. Instruction Tuning
6. P-Tuning
7. BitFit
8. Soft Prompts
9. RLHF
10. RLAIF
11. DPO (Direct Preference Optimization)
12. GRPO (Group Relative Policy Optimization)
13. RLAIF (RL with AI Feedback)
14. Multi-Task Fine-Tuning
15. Federated Fine-Tuning
既然我们在谈论微调，我在2026年写了一篇关于使用强化学习微调LLM的完整分析。包括如何通过自动LLM评分奖励来跳过手动奖励工程。
而这一切都通过一个100%开源解决方案完成：http://github.com/openpipe/art
文章引用如下。
查看缓存全文
缓存时间: 2026/07/10 14:14
Agent 强化训练器
使用 GRPO 训练面向现实任务的多步 Agent。
相似文章
使用ART微调多模态大语言模型：基于艺术强化训练
ART（基于艺术强化训练）通过梯度反向传播优化原始视觉输入，实现对冻结的多模态大语言模型的参数高效微调，其性能与LoRA相当，同时支持为vLLM等高吞吐引擎预编译的计算图。
@akshay_pachaar: LLM工程师手册（每天30分钟，10周，50课）一个面向LLM推理服务的路线图，一切都指向一个服务，而不是分散在多个演示中。
一个为期10周、每天30分钟的工程师学习LLM推理服务的路线图，涵盖vLLM、SGLang、负载测试、量化以及优化技术，以构建一个可复现的基准测试。
@ethantsliu：meta-rl 引发代理式 LLM 探索 传统强化学习训练 LLM 代理使用固定策略，难以进行主动探索……
一篇新的研究论文将 LLM 代理训练重新定义为跨回合的 Meta-RL 问题，使用无评论家策略梯度实现在上下文中的适应，而无需梯度更新。LAMER 框架在长时程任务上相比标准 RL 基线将测试时性能提升了 11-19%，并且能更好地泛化到未见过的环境。
@akshay_pachaar: Andrej Karpathy 将LLM训练的整个历史总结为三个名词：- 文本 - 对话 - 及环境…
Andrej Karpathy将LLM训练概括为文本、对话和环境；Prime Intellect的Verifiers是一个开源框架，用于构建和共享LLM的强化学习环境，采用MIT许可证发布，附带一个包含2500多个环境的中枢。
大语言模型微调指南：从零到精通
本文介绍了大语言模型微调的完整指南，通过一项案例研究，对比了微调相较于RAG（检索增强生成）和系统提示词的优势。该研究显示，对Mistral 7B模型进行微调后，其医疗报告任务的准确性从35%提升至98%。