qlora

AK_QMUL 的论文介绍了其在 ArGuard-2026 共享任务中的提交方案：基于 JAIS-6.7B、采用 4 位 QLoRA 微调的模型，用于阿拉伯语有害提示检测（安全/不安全二分类及七类有害领域分类）。该模型在两项任务中均获第一名，宏平均 F1 分数分别为 0.984 和 0.790。

Team Alkhder 在 AlexandriaX-2026 共享任务中的提交方案采用 QLoRA 对 NileChat-3B-Base 进行微调，实现上下文感知的英语到 13 种阿拉伯语方言的对话翻译，spBLEU 达 20.36，chrF++ 达 36.64，在两个赛道中均排名第六。

该论文提出 MeddeX 系统，结合 QLoRA 微调的 LLaMA-3 (8B)、报告级检索增强生成 (RAG) 以及 Gemini Vision 多模态层，实现对医疗报告的证据支撑式摘要与分析，并在 ROUGE、BLEU 和 BERTScore 上相对基线模型取得一致提升。

该论文介绍了团队参加 KnowledgeGraphEval 2026 子任务2（阿拉伯语关系抽取）的系统：结合基于编码器的方法与微调 Yehia、Qwen3.5 的大语言模型系统，最佳集成系统在子任务2中以 94.06 的微平均 F1 分数获得第一名，凸显了约束预测与多种建模方法互补的重要性。

Shaer 是一个可控的古典阿拉伯诗歌生成框架，能够同时以自然语言描述、格律子式以及目标半句数量作为条件进行生成。该框架通过对 Yehia-7B 进行 QLoRA 微调构建，训练语料为包含 116,032 首诗歌的增强数据集，基础格律准确率达到 95.17%，并在长度与子式控制方面表现出色。

这篇 arXiv 论文提出了一个角色感知的 Decider-Supervisor 框架，将集中式机器学习、基于 FedAvg 训练的联邦元模型以及 Base/QLoRA 大语言模型变体与区块链审计能力相结合。研究发现，AI 监督仅在特定角色、校准方式和流量条件下才能减少欺诈决策错误，而非默认有效。

一位开发者直播AliceAI-Foundation-80B-A3B模型从基础到指令的后训练过程，使用蒸馏和QLoRA在个人V100 GPU上进行，并实时详细说明数据集创建和训练步骤。

本文提供了如何用自己的数据微调小模型的完整指南，涵盖数据采集、清洗、训练、评测和部署，强调数据权利和评测纪律。

本文探讨了在语言模型中使用QLoRA时，事实知识获取与能力保留之间的权衡，表明更高秩的QLoRA改善了事实学习，但可能降低域外性能。

本文介绍了大语言模型微调的完整指南，通过一项案例研究，对比了微调相较于RAG（检索增强生成）和系统提示词的优势。该研究显示，对Mistral 7B模型进行微调后，其医疗报告任务的准确性从35%提升至98%。

论文描述了提交给 WMT 2026 MIST 共享任务的内容，使用 Tiny Aya Global 模型以及为多语言摘要和问答任务专门设计的 QLoRA 适配器。

一个通过QLoRA训练优化的微调版 Gemma 4 12B，适用于配备16GB VRAM的消费级GPU，可将工具调用可靠性提高2.7倍。

本文描述了一个运行着超过50个AI代理的个人，这些代理针对网络安全进行了调优，配有CVE搜索索引，使用QLoRA调整的GLM 5.2模型持续测试生产网站的漏洞，并通过漏洞赏金赚钱。

The paper compares five parameter-efficient fine-tuning methods on four small language models for on-device personalization, finding LoRA+ best for energy efficiency and QLoRA best for memory-limited deployment.

Soup 是一个开源命令行工具，通过单条命令简化 LLM 的微调和后训练，支持基于 QLoRA 的训练，通过逐层流式传输仅需 4 GB 显存即可在消费级 GPU 上运行。最新版本新增了 DPO、ORPO、SimPO 和 KTO 等偏好损失，且不会使内存需求翻倍。

本文提出了一种用于桥梁诊断代理的损伤原因编码器，通过从手册中提取知识三元组并结合QLoRA进行检索增强微调，在降低内存占用的同时实现了高准确率。

作者认为，对于样本量低于1万的数据集，QLoRA微调中常用的2e-4学习率过高，会导致过拟合和评估效果不佳，并建议使用更低的学习率，如1e-4。

一位 LLM 课程背后的前摩根大通工程师提供了一份18分钟的指南，关于使用 LoRA、QLoRA、DPO、KTO 和 mergekit 微调与合并模型，声称其效果优于昂贵的训练营。

Akwin123专门为文案写作和创意写作任务微调了Gemma-4-31B-it，在使用QLoRA的定制基准测试中，相对于基础模型实现了+290 Elo的提升。该模型是开源的，可在Hugging Face上获取。

LoRA（低秩适配）是LLM最流行的参数高效微调方法，视频介绍了LoRA及其变体（LoRA+、QLoRA、VeRA、DoRA）的工作原理。