论文页 - LlamaFactory：统一高效微调 100+ 语言模型

来源：https://huggingface.co/papers/2403.13372

摘要

LlamaFactory 是一个统一框架，通过基于 Web 的用户界面实现跨多种任务的大语言模型高效微调。

高效微调 (https://huggingface.co/papers?q=Efficient%20fine-tuning)对于将大语言模型 (https://huggingface.co/papers?q=large%20language%20models)(LLM) 适配到下游任务至关重要。然而，在不同模型上实现这些方法需要付出相当大的努力。我们提出 LlamaFactory (https://huggingface.co/papers?q=LlamaFactory)，这是一个集成了多种前沿高效训练方法的统一框架。它允许用户通过内置的 Web UI LlamaBoard (https://huggingface.co/papers?q=LlamaBoard) 灵活自定义 100+ LLM 的微调，无需编写代码。我们在语言建模 (https://huggingface.co/papers?q=language%20modeling)和文本生成 (https://huggingface.co/papers?q=text%20generation)任务上实证验证了我们框架的效率和有效性。该项目已发布在 https://github.com/hiyouga/LLaMA (https://huggingface.co/papers?q=LLaMA)-Factory，目前已获得超过 13,000 个星标和 1,600 次 Fork。

查看 arXiv 页面 (https://arxiv.org/abs/2403.13372)查看 PDF (https://arxiv.org/pdf/2403.13372)项目页面 (https://huggingface.co/spaces/hiyouga/LLaMA-Board)GitHub71k (https://github.com/hiyouga/LLaMA-Factory)添加到收藏 (https://huggingface.co/login?next=%2Fpapers%2F2403.13372)

社区

太棒了。请添加 MeZO 变体。

通过拖拽、粘贴或点击此处上传图像、音频和视频。

点击或粘贴此处上传图片

在你的 Agent 中获取这篇论文：

hf papers read 2403\.13372

没有最新的 CLI？curl \-LsSf https://hf\.co/cli/install\.sh \| bash

引用此论文的模型16

AELLM/Llama-3.2-Chibi-3B 文本生成 • 3B • 更新于2024年10月15日 • 7 • 5 (https://huggingface.co/AELLM/Llama-3.2-Chibi-3B)

GXMZU/Qwen3-14B-ai-expert 文本生成 • 15B • 更新于1月5日 • 30 • 2 (https://huggingface.co/GXMZU/Qwen3-14B-ai-expert)

Xin-Rui/LLAMA-Fac-NEW-A800 (https://huggingface.co/Xin-Rui/LLAMA-Fac-NEW-A800)

JilinHu/llemma_7b_3epoch_r32_e5_RQ1 7B • 更新于2025年7月2日 • 5 • 1 (https://huggingface.co/JilinHu/llemma_7b_3epoch_r32_e5_RQ1)

浏览16个引用此论文的模型 (https://huggingface.co/models?other=arxiv:2403.13372)## 引用此论文的数据集0

没有数据集链接此论文

在数据集 README.md 中引用 arxiv.org/abs/2403.13372 即可从此页面链接。

引用此论文的 Spaces18

包含此论文的合集44

浏览44个包含此论文的合集 (https://huggingface.co/collections?paper=2403.13372)