我们开源了 Chaperone-Thinking-LQ-1.0：4-bit GPTQ + QLoRA 微调的 DeepSeek-R1-32B，MedQA 84%，仅 20GB

Reddit r/MachineLearning 模型
open-source quantization medical-ai fine-tuning reasoning

摘要

EmpirischTech 发布 Chaperone-Thinking-LQ-1.0：用 4-bit GPTQ + QLoRA 微调的 DeepSeek-R1-32B，MedQA 得分 84%，体积仅 20GB，可本地部署于医疗场景。

大家好，我们刚在 Hugging Face 开源了推理模型 Chaperone-Thinking-LQ-1.0。它基于 DeepSeek-R1-Distill-Qwen-32B，但远不止简单量化——来看看我们到底做了什么： 流程： 1. 4-bit GPTQ 量化——把模型从约 60GB 压到约 20GB 2. 通过 GPTQ 做量化感知训练（QAT）并校准，最大限度减少精度损失 3. 在医学与科学语料上用 QLoRA 微调 4. 移除自适应恒等层，提升透明度——模型能正确归因到 DeepSeek 的原始架构 结果： |Benchmark|Chaperone-Thinking-LQ-1.0|DeepSeek-R1|OpenAI-o1-1217| |:-|:-|:-|:-| |MATH-500|91.9|97.3|96.4| |MMLU|85.9|90.8|91.8| |AIME 2024|66.7|79.8|79.2| |GPQA Diamond|56.7|71.5|75.7| |MedQA|84%|—|—| MedQA 是亮点——84% 准确率，距离 GPT-4o（约 88%）只差 4 分，却能装进单张 L40/L40s GPU。 速度：吞吐 36.86 tok/s，对比原版 DeepSeek-R1-32B 的 22.84 tok/s，提速约 1.6 倍，中位延迟降低约 43%。 为什么做这件事：我们需要一款能在企业医疗客户现场运行的推理模型，满足严格的数据主权要求——不能调用 OpenAI API，数据不能离境。结果证明，只要优化得当，就能以极低成本逼近前沿性能。 下载地址：[https://huggingface.co/empirischtech/DeepSeek-R1-Distill-Qwen-32B-gptq-4bit](https://huggingface.co/empirischtech/DeepSeek-R1-Distill-Qwen-32B-gptq-4bit) 许可证 CC-BY-4.0。欢迎提问关于流程、基准或部署的任何问题。
查看原文

相似文章

DeepSeek V4 完整论文发布：FP4 QAT 技术细节与训练稳定性技巧 [D]

Reddit r/MachineLearning

DeepSeek 发布了完整的 V4 论文，详细介绍了 FP4 量化感知训练、MoE 训练稳定性技巧（预判路由与 SwiGLU 截断），以及用于 RLHF 的生成式奖励模型，实现了显著的效率提升——V4-Flash 在 100 万上下文长度下仅需 V3.2 的 10% FLOPs 和 7% 的 KV 缓存。