Qwen3.8-27B-Uncensored-Genesis-V1-GGUF

Reddit r/LocalLLaMA 模型

摘要

作者分享了一个修改版的Qwen模型,该模型采用马尔琴科-帕斯图尔分布来蒸馏训练噪声,旨在减少大语言模型 (LLMs) 中过度的token生成,并寻求社区反馈。

模型在此处可用: Qwen3.8-27B-Uncensored-Genesis-V1-MTP-GGUF 该模型是本文描述内容的实践实现,但我已将其适配用于机器学习: https://arxiv.org/pdf/1311.0851v1 我试图解决的问题是:为什么LLM模型即使在简单问题上也会在推理过程中写出大段文本,消耗过多token而不是完成任务。而且随着参数数量增加,问题变得更严重。 我认为主要问题是由于随机训练噪声在张量中积累导致的张量矩阵数值不稳定。模型在推理过程中与自身的内部混乱作斗争。 我正在使用马尔琴科-帕斯图尔分布从张量中蒸馏训练噪声,并结合论文信息作为核心标准和项目的坚实数学基础。 设置: 系统提示: 你是Qwen (通义千问),由阿里巴巴集团通义实验室开发的大语言模型。你是一个有用的助手。 聊天模板: chat_template.jinja 推理设置: temperature=1.0, top_p=0.95, top_k=20, min_p=0.0, presence_penalty=0.0, repetition_penalty=1.0, reasoning_effort=medium 我无法完全测试这个模型,因为我只有一块普通的RTX 3060显卡,具有12 GB的VRAM。所以来自Reddit社区的任何反馈都会非常有帮助。我感谢社区的任何反馈。 感谢阅读。
查看原文

相似文章

JonathanColetti/Qwen3.8-27B-无审查-GGUF

Hugging Face Models Trending

一个量化的GGUF版本,基于Qwen3.8-27B模型,具有减少的拒绝行为,保留了多token预测,并提供多种量化选项以供llama.cpp使用。

LuffyTheFox/Qwen3.6-35B-A3B-Uncensored-Genesis-Hermes-V5-GGUF

Hugging Face Models Trending

LuffyTheFox 发布了 Qwen3.6-35B-A3B-Uncensored-Genesis-Hermes-V5-GGUF,这是 Qwen 模型的一个修改版本,使用 Genesis 后训练算法通过自定义 SVD 对 GGUF 格式张量进行信号纯度修复和噪声降低。