@no_stp_on_snek: 微调现场笔记：模型的构建方式决定了你甚至能更改什么。有些模型你可以自由调整…

X AI KOLs Following 新闻
fine-tuning model-design quantization mixture-of-experts field-notes

摘要

一条关于微调现场笔记的推文系列，解释了模型架构（如高度量化或混合专家模型）如何限制可调整的部分，并敦促从业者在规划工作前检查模型的可访问性。

微调现场笔记 模型是如何构建的决定了你甚至被允许更改什么。有些模型你可以自由调整。其他的则被压缩得如此紧密，以致于大部分模型被锁定，无法触及，因此你只能接触一小部分可访问的区域，而让其余部分保持冻结（主要是高度量化和混合专家模型）。目标相同，但你能深入到什么程度完全取决于设计。在规划工作之前，检查你可以触及的部分。
查看原文
查看缓存全文

缓存时间: 2026/07/04 08:44

微调现场笔记

模型的构建方式决定了你能修改哪些部分。有些模型可以自由调整；另一些则因为高度封装和压缩，大部分区域被锁定，你只能触及一小部分可访问的区域，其他部分保持冻结（主要是重度量化和混合专家模型）。目标相同，但你能触及的范围完全取决于设计。在规划工作前，先确认哪些部分可以改动。

我打算最终

所以，我想测试 Nvidia 的 TwoTowers，但它有点大。于是我对其进行了量化。但速度非常慢。看来 vllm 和 llamacpp 仍在努力支持块扩散（block-diffusion）。

所以霍比特人就在这儿……等到 TwoTowers 被这些推理引擎支持时再用。

https://huggingface.co/thetom-ai/Nemotron-TheHobbit-30B-A3B…

相似文章