Qwen3.8-27B-Uncensored-Genesis-V1-GGUF
摘要
作者分享了一个修改版的Qwen模型,该模型采用马尔琴科-帕斯图尔分布来蒸馏训练噪声,旨在减少大语言模型 (LLMs) 中过度的token生成,并寻求社区反馈。
模型在此处可用: Qwen3.8-27B-Uncensored-Genesis-V1-MTP-GGUF
该模型是本文描述内容的实践实现,但我已将其适配用于机器学习: https://arxiv.org/pdf/1311.0851v1
我试图解决的问题是:为什么LLM模型即使在简单问题上也会在推理过程中写出大段文本,消耗过多token而不是完成任务。而且随着参数数量增加,问题变得更严重。
我认为主要问题是由于随机训练噪声在张量中积累导致的张量矩阵数值不稳定。模型在推理过程中与自身的内部混乱作斗争。
我正在使用马尔琴科-帕斯图尔分布从张量中蒸馏训练噪声,并结合论文信息作为核心标准和项目的坚实数学基础。
设置:
系统提示: 你是Qwen (通义千问),由阿里巴巴集团通义实验室开发的大语言模型。你是一个有用的助手。
聊天模板: chat_template.jinja
推理设置: temperature=1.0, top_p=0.95, top_k=20, min_p=0.0, presence_penalty=0.0, repetition_penalty=1.0, reasoning_effort=medium
我无法完全测试这个模型,因为我只有一块普通的RTX 3060显卡,具有12 GB的VRAM。所以来自Reddit社区的任何反馈都会非常有帮助。我感谢社区的任何反馈。
感谢阅读。
相似文章
JonathanColetti/Qwen3.8-27B-无审查-GGUF
一个量化的GGUF版本,基于Qwen3.8-27B模型,具有减少的拒绝行为,保留了多token预测,并提供多种量化选项以供llama.cpp使用。
LuffyTheFox/Qwen3.6-35B-A3B-Uncensored-Genesis-Hermes-V5-GGUF
LuffyTheFox 发布了 Qwen3.6-35B-A3B-Uncensored-Genesis-Hermes-V5-GGUF,这是 Qwen 模型的一个修改版本,使用 Genesis 后训练算法通过自定义 SVD 对 GGUF 格式张量进行信号纯度修复和噪声降低。
@HuggingModels:看看 Qwen3.6-35B-A3B-Uncensored-Genesis-Hermes-V7-GGUF。
HuggingModels 宣布发布 Qwen3.6-35B-A3B-Uncensored-Genesis-Hermes-V7-GGUF,这是 Qwen 模型的微调和量化版本。
DavidAU/Qwen3.5-9B-The-Defiant-Fable-Uncensored-Heretic-NEO-IMATRIX-MAX-MTP-GGUF
这是一个社区微调并合并的Qwen 3.5 9B版本,声称在关键基准测试中超越更大模型,支持多token预测,以GGUF格式提供。
Qwen3.6-27B Uncensored Aggressive 发布,附带 K_P 量化!
社区释出去除安全拒答的 Qwen3.6-27B,并以专为 llama.cpp 与 LM Studio 优化的 K_P GGUF 量化格式打包。