LuffyTheFox/Qwen3.6-35B-A3B-Uncensored-Genesis-Hermes-V6-GGUF
摘要
LuffyTheFox 发布了 Qwen3.6-35B-A3B 模型的 GGUF 量化版本,使用 Genesis 算法进行去噪,以减少张量噪声并改进指令遵循能力,该模型基于一个未经审查的激进变体,并与 Hermes 微调数据合并。
查看缓存全文
缓存时间: 2026/07/28 18:25
LuffyTheFox/Qwen3.6-35B-A3B-Uncensored-Genesis-Hermes-V6-GGUF · Hugging Face 来源:https://huggingface.co/LuffyTheFox/Qwen3.6-35B-A3B-Uncensored-Genesis-Hermes-V6-GGUF > ⚡https://web.tribute.tg/d/KIH⚡ 如果你喜欢这个Genesis LLM版本,你可以通过Telegram Messenger中的@Tribute (https://t.me/tribute)机器人向我捐赠 (https://web.tribute.tg/d/KIH),支持未来Genesis LLM的开发。
https://huggingface.co/LuffyTheFox/Qwen3.6-35B-A3B-Uncensored-Genesis-Hermes-V6-GGUF#%F0%9F%8C%9F-qwen36-35b-a3b-uncensored-hauhaucs-aggressive—genesis-hermes-v5
🌟 Qwen3.6-35B-A3B-Uncensored-HauhauCS-Aggressive → Genesis Hermes V5
⚡为什么要有Genesis项目? 在训练过程中,所有模型不仅学习知识——它们还会在张量中累积随机噪声。这种噪声会不断累积,形成我称之为噪声门控的东西——这是一个根本性障碍,阻止LLM模型进一步学习,使其变得不稳定、冗长且容易产生幻觉。我的方法可以去除这种噪声。它在不触及已学知识的情况下修复信号。结果是一个终于能清晰说话、遵循指令并记住上下文的模型——因为它不再与自身的内部混乱作斗争。
什么是Genesis? Genesis是我在近半年的开发中,借助AI帮助,针对GGUF格式的神经网络(LLM)提出的一种训练后数据再生与校准算法。它经过优化,架构无关,适用于任何模型,并基于数理统计。我不对模型进行训练或微调,而是在Google Collab Free的Tesla T4 GPU上,基于模型学习信息的原理,用Python修复模型中的信号纯净度。第一阶段,我扫描模型中的ssm_conv1d张量,它们负责处理长上下文记忆。我通过自定义SVD修复ssm_conv1d张量中的平衡。第二阶段,我扫描模型,通过自定义SVD检测张量中的噪声。扫描时排除token_embd.weight、output.weight、ffn_gate_inp_shexp.weight、一维张量、偏置和归一化层。然后,我通过自定义SVD,保留训练数据、99%的信号度和已学习梯度,减少张量中的训练噪声。第三阶段,我通过3个参数按块扫描模型中的块,并选出最适合张量权重分布的那一个。选出的最佳块替换损坏张量中的零块,且不触碰模型中的已学习结构。
模型基于HauhauCS/Qwen3.6-35B-A3B-Uncensored-HauhauCS-Aggressive (https://huggingface.co/HauhauCS/Qwen3.6-35B-A3B-Uncensored-HauhauCS-Aggressive) 基座,以及DJLougen/hermes-qwen3.5-35b-a3b-GGUF (https://huggingface.co/DJLougen/hermes-qwen3.5-35b-a3b-GGUF) 为Hermes Agent微调的版本。我将Hermes数据集微调的数据(来自两个FFN专家张量的大约2000个块)转移到了HauhauCS (https://huggingface.co/HauhauCS) 的无审查基座模型上。
加入Discord (https://discord.gg/SZ5vacTXYf) 获取更新、路线图、项目信息,或直接聊天。
基础模型:HauhauCS/Qwen3.6-35B-A3B-Uncensored-HauhauCS-Aggressive (https://huggingface.co/HauhauCS/Qwen3.6-35B-A3B-Uncensored-HauhauCS-Aggressive) -0/465 拒绝回答。 感谢HauhauCS (https://huggingface.co/HauhauCS) 张量漂移修复由我完成。方法:Genesis
链接:
- 原始无审查模型 (https://huggingface.co/HauhauCS/Qwen3.6-35B-A3B-Uncensored-HauhauCS-Aggressive)
- 支持Unsloth配置的量化脚本 (https://pastebin.com/hXhcMJn9)
LLM模型通常存在以下问题:
- 饱和权重:模型激活卡住,梯度消失,输出质量下降。
- 尺度不匹配:某些层的权重无故比其他层大10倍。
- 均值漂移:权重分布偏正或偏负,破坏对称性假设。
- 零块:零块破坏信号,使训练变成噪声放大。
- 训练噪声:训练噪声增加随机性,破坏模型输出质量。
我的方法无需重新训练即可解决所有这些问题——纯粹是对文件原始字节进行数值手术。
量化脚本在此:https://pastebin.com/hXhcMJn9 如果需要,欢迎自行进行量化。
https://huggingface.co/LuffyTheFox/Qwen3.6-35B-A3B-Uncensored-Genesis-Hermes-V6-GGUF#any-questions
有任何问题?联系方式: [email protected] 我的Telegram:@LuffyTheFox
https://huggingface.co/LuffyTheFox/Qwen3.6-35B-A3B-Uncensored-Genesis-Hermes-V6-GGUF#recommended-settings-for-rtx-3060-12-gb-for-best-perfomance-on-apex-quant
RTX 3060 12 GB 在APEX量化下获得最佳性能的推荐设置 聊天模板:chat_template.jinja (https://huggingface.co/froggeric/Qwen-Fixed-Chat-Templates/raw/main/chat_template.jinja) 将K缓存量化类型和V缓存量化类型设置为F16。 将强制将MoE权重加载到CPU的层数设置为40。 将GPU卸载设置为15。 将激活专家数设置为8。
为了获得最佳模型稳定性和首次体验,建议在启用思考模式且无其他内容的情况下,从系统提示中的以下字符串开始:
You are Qwen, a large language model created by Tongyi Lab team from Alibaba Group. You are a helpful assistant.
或者这个字符串(用于角色扮演,后面可添加任何内容):
You are a helpful assistant.
如果想为模型带来更多创造力,请使用此带有agent身份的系统提示:
链接 (https://huggingface.co/LuffyTheFox/Qwen3.6-35B-A3B-Uncensored-Genesis-Hermes-V5-GGUF/discussions/7#6a6277b134def1392a9bd10f)
或者此带有assistant身份的系统提示:
System_Prompt_Creative.txt (https://huggingface.co/LuffyTheFox/Qwen3.6-35B-A3B-Uncensored-Genesis-Hermes-V5-GGUF/raw/main/System_Prompt_Creative.txt)
思考模式(编码):
- 编码/精确任务:
temperature=0.6, top_p=0.95, top_k=20, min_p=0, seed=42, presence_penalty=disabled, repeat_penalty=disabled - 通用:
temperature=1.0, top_p=0.95, top_k=20, min_p=0.05, seed=42, presence_penalty=disabled, repeat_penalty=disabled
非思考模式(创意):
- 通用:
temperature=1.0, top_p=0.85, top_k=20, min_p=0.015, seed=42, presence_penalty=disabled, repeat_penalty=disabled
对于Agent任务,你可以使用以下系统提示:
You are Qwen, a large language model created by Tongyi Lab team from Alibaba Group. You are a helpful assistant that answers in JSON. Here's the json schema you must adhere to:\n\n{schema}\n.
以及来自此数据集的命令:
hermes-function-calling-v1 (https://huggingface.co/datasets/NousResearch/hermes-function-calling-v1)
https://huggingface.co/LuffyTheFox/Qwen3.6-35B-A3B-Uncensored-Genesis-Hermes-V6-GGUF#usage
使用说明
此模型的V5版本适用于无审查的本地角色扮演。对于编码,27B Genesis则要好得多。
可直接使用。 推荐量化:APEX 推荐LM Studio运行时:讨论链接 (https://huggingface.co/LuffyTheFox/Qwen3.6-35B-A3B-Uncensored-Genesis-Hermes-V5-GGUF/discussions/12)
https://huggingface.co/LuffyTheFox/Qwen3.6-35B-A3B-Uncensored-Genesis-Hermes-V6-GGUF#testing
测试 HermesBench基准测试:讨论链接 (https://huggingface.co/LuffyTheFox/Qwen3.6-35B-A3B-Uncensored-Genesis-Hermes-V5-GGUF/discussions/13)
https://huggingface.co/LuffyTheFox/Qwen3.6-35B-A3B-Uncensored-Genesis-Hermes-V6-GGUF#2d-animation-testing
2D动画测试
系统提示:You are a helpful assistant.
设置:temperature=1.0, top_p=0.95, top_k=20, min_p=0.05, seed=42, presence_penalty=disabled, repeat_penalty=disabled
提示1:Generate an animated SVG on animated background of a Pingu waving on an iceberg wearing his iconic winter scarf.
提示2:Animate his wings and fix floating wing
结果:pingu_animated.svg (https://huggingface.co/LuffyTheFox/Qwen3.6-35B-A3B-Uncensored-Genesis-Hermes-V3-GGUF/blob/main/pingu_animated.svg)
https://huggingface.co/LuffyTheFox/Qwen3.6-35B-A3B-Uncensored-Genesis-Hermes-V6-GGUF#static-2d-testing
静态2D测试
系统提示:You are Qwen, a large language model created by Tongyi Lab team from Alibaba Group. You are a helpful assistant.
设置:temperature=0.6, top_p=0.95, top_k=20, min_p=0, presence_penalty=disabled, repeat_penalty=disabled
提示:Generate an SVG of a pelican riding a bicycle
结果:pelican.svg (https://huggingface.co/LuffyTheFox/Qwen3.6-35B-A3B-Uncensored-Genesis-Hermes-V2-GGUF/blob/main/pelikan.svg)
下一步我要求模型:Replace pelican with rooster
结果:rooster.svg (https://huggingface.co/LuffyTheFox/Qwen3.6-35B-A3B-Uncensored-Genesis-Hermes-V2-GGUF/blob/main/rooster.svg)
我要求模型:Replace rooster with cock
结果:cock.svg (https://huggingface.co/LuffyTheFox/Qwen3.6-35B-A3B-Uncensored-Genesis-Hermes-V2-GGUF/blob/main/cock.svg)
最后我要求模型:Replace rooster with Pingu
结果:pingu.svg (https://huggingface.co/LuffyTheFox/Qwen3.6-35B-A3B-Uncensored-Genesis-Hermes-V2-GGUF/blob/main/pingu.svg)
重要提示:
- 至少保留128K上下文以保持思考能力
- 使用
--jinja标志与llama.cpp配合,以正确处理聊天模板 - 视觉支持需要
mmproj文件与主GGUF文件放在一起
https://huggingface.co/LuffyTheFox/Qwen3.6-35B-A3B-Uncensored-Genesis-Hermes-V6-GGUF#specs
规格
- 总参数量35B,每次前向传播有效参数量约3B(MoE)
- 256个专家,每token路由8个 + 1个共享
- 混合架构:Gated DeltaNet线性注意力 + 完整softmax注意力(3:1比例)
- 40层,模式:10 × (3 × DeltaNet-MoE + 1 × Attention-MoE)
- 原生上下文262K(可通过YaRN扩展到1M)
- 原生多模态(文本、图像、视频)
- 24.8万词汇,201种语言
- 基础模型:HauhauCS/Qwen3.6-35B-A3B-Uncensored-HauhauCS-Aggressive (https://huggingface.co/HauhauCS/Qwen3.6-35B-A3B-Uncensored-HauhauCS-Aggressive)
https://huggingface.co/LuffyTheFox/Qwen3.6-35B-A3B-Uncensored-Genesis-Hermes-V6-GGUF#compatibility
兼容性 适用于llama.cpp、LM Studio、koboldcpp以及其他兼容GGUF的运行时。
相似文章
LuffyTheFox/Qwen3.6-35B-A3B-Uncensored-Genesis-Hermes-V5-GGUF
LuffyTheFox 发布了 Qwen3.6-35B-A3B-Uncensored-Genesis-Hermes-V5-GGUF,这是 Qwen 模型的一个修改版本,使用 Genesis 后训练算法通过自定义 SVD 对 GGUF 格式张量进行信号纯度修复和噪声降低。
LuffyTheFox/Qwen3.6-35B-A3B-Uncensored-Genesis-Hermes-V3-GGUF
一种新的无审查GGUF模型,基于Qwen3.6-35B-A3B,采用数据重建和噪声抑制技术进行技术改进。通过一种新颖的修复方法,降低了拒绝率并提升了性能。
DavidAU/Qwen3.6-27B-Heretic-Uncensored-FINETUNE-NEO-CODE-Di-IMatrix-MAX-GGUF
基于 Qwen 3.6 27B 模型的社区微调去审查版本,提供高精度 GGUF 量化。
Qwen3.6-35B-A3B-Uncensored-Genesis-APEX-MTP
Qwen模型(Qwen3.6-35B-A3B)的精调无审查版本,支持MTP和APEX量化,经测试在200k上下文下稳定运行,推荐在LM Studio中使用。
HauhauCS/Qwen3.6-35B-A3B-Uncensored-HauhauCS-Aggressive
在 Hugging Face 上发布 Qwen3.6-35B-A3B 模型的无审查激进变体,采用自定义 K_P 量化并完全移除了安全拒绝机制。