一个基于Qwen3.5 4B微调的Jev风格模型

Reddit r/LocalLLaMA 模型
ai-model fine-tuning open-source deep-learning transformers synthetic-data

摘要

作者使用LoRA对Qwen3.5 4B进行了微调，结合公开数据和合成数据创建了一个Jev风格模型，实现了性能提升，并开源了模型和数据集。

这个周末，我进行了一次有趣的实验，旨在创建一个类似于Jev的东西。我使用LoRA对Qwen3.5 4B进行了微调，结合了公开数据集和合成数据。对于合成数据，我使用了DeepSeek V4.1 Flash，大约25M tokens。我在租用的RTX 3090上训练模型约2小时。目前，模型表现相当不错。显然，它还远不及Jev，但与基础模型相比，它表现得出乎意料地好（在typed-decisions上从0.596提升到0.709）。我已经开源了所有内容，包括合成数据集和一个兼容Jev的API端点，所以你可以在这里尝试：https://github.com/n4ze3m/hmm/ https://huggingface.co/n4ze3m/Qwen3.5-4B-Hmm https://huggingface.co/datasets/n4ze3m/typed-decisions-synth
查看原文

相似文章

老兄，Qwen Lab 搞定了 Qwen 3.8 27B，简直太棒了

Reddit r/LocalLLaMA

Qwen Lab 发布了 Qwen 3.8 27B，与之前的版本如 Qwen 3.6 27B 和其他开源模型相比，有显著提升。作者希望 Qwen 发表论文，以帮助其他实验室开发类似的高质量小型模型。