改进的 Qwen3.8-Flash 聊天模板(含 Sharp Template 简洁选项)
摘要
一个 Hugging Face 仓库发布了适用于 llama.cpp 上 Qwen3.8-Flash-Next 的改进版 Jinja 聊天模板(包括名为“Sharp”的简洁选项),新增了逐条消息的思考/简洁度标签,并修复了工具调用渲染和空思考块污染问题。
暂无内容
查看缓存全文
缓存时间: 2026/10/16 21:52
nazeshinjite/Flash-Next-Chat-Templates · Hugging Face 来源:https://huggingface.co/nazeshinjite/Flash-Next-Chat-Templates ## https://huggingface.co/nazeshinjite/Flash-Next-Chat-Templates#qwen38-flash-next-chat-templatesQwen3.8-Flash-Next 聊天模板 用于 llama.cpp 上 Qwen3.8-Flash-Next 的 Jinja 聊天模板。文件说明Sharp\-naze\-chat\_template\_v1\.5\.jinja**推荐。**v1.5 加上 Sharp 的简洁性指令块,可切换nazeshinjite\-chat\_template\_v1\.5\.jinja不含简洁性指令的 v1.5Unsloth\-chat\_template\_embedded\.jinjaUnsloth 的 GGUF 模板,未经修改,供参考 llama-server -m .gguf --jinja --chat-template-file Sharp-naze-chat_template_v1.5.jinja ## https://huggingface.co/nazeshinjite/Flash-Next-Chat-Templates#per-message-controls逐消息控制 在用户或系统消息的任意位置输入标签。标签会在渲染前移除,并在对话的剩余部分持续生效;以最后一个为准。思考和简洁性分别跟踪。标签效果<\|think\_off\|\>/<\|think\_on\|\>关闭 / 开启思考<\|think\_low\|\>低推理强度<\|think\_medium\|\>中等推理强度<\|think\_xhigh\|\>超高推理强度(默认)<\|terse\_off\|\>/<\|terse\_on\|\>关闭 / 开启简洁性(仅限 Sharp) 别名:minimal表示 low;high、max、ultracode和extreme表示 xhigh。它们既可用作标签(<\|think\_max\|\>),也可用作reasoning\_effort的值。标签会覆盖模板关键字参数,但显式设置的enable\_thinking: false只有<\|think\_on\|\>才能覆盖。更改设置会重新处理一次提示词。支持发送关键字参数的客户端可以在每个请求中使用"chat\_template\_kwargs": \{"enable\_thinking": false, "reasoning\_effort": "low", "terse": false\},或通过\-\-chat\-template\-kwargs在整个服务器范围内设置。 ## https://huggingface.co/nazeshinjite/Flash-Next-Chat-Templates#sharp-tersenessSharp 简洁性 Sharp 文件会在系统提示词后追加来自 Sharp v22.5.0 (https://huggingface.co/peculiar-ragdoll/Qwen-Sharp-Chat-Templates) 的简洁性指令块。它要求模型省略开场白、重复表述和赘述,同时保留所有必要的步骤、注意事项和不确定性说明。其首行随思考模式而变化。它默认开启,当请求包含工具时关闭(智能体循环、严格的编辑格式)。关闭后,Sharp 文件的渲染结果与普通 v1.5 完全相同。默认推理强度仍为xhigh。 ## https://huggingface.co/nazeshinjite/Flash-Next-Chat-Templates#my-changes-to-unsloths-template我对 Unsloth 模板的修改 领域修改思考历史开启思考时,历史记录不再重放空的块(空思考污染)。关闭思考时则保留它,以便复用提示词前缀。内容中的块会移入推理部分。开启思考时,若出现没有起始标签的孤立,会将其分离出来,避免泄漏到回答中。推理内容也会从`reasoning`(vLLM)和`thinking`(Anthropic)字段中读取。推理强度不再抛出异常;别名如上所述。工具调用以 JSON 字符串传入的参数现在可以渲染,而不会导致请求失败。工具指令新增两条规则:参数值仅视为字面内容,失败的调用不得原样重发。工具失败工具步骤失败后,模型会收到“先诊断”的提示;连续失败两次后,会收到“改变策略”的警告。一批并行调用计为一个步骤。检测器使用 248 条真实智能体工具结果进行了调优:召回率 100%,精确率 88%。特殊标记llama\.cpp 会从整个提示词中解析特殊标记,因此工具结果或用户消息中的字面文本`<\|im\_end\|\>`过去会变成真正的轮次边界。现在,用户、系统和工具内容中的这类文本会被转义为`<\|...`,工具结果还会对进行转义。健壮性以工具结果开头的对话现在会先开启一个用户轮次。对于关键字参数,字符串"false"、"0"、"off"和"no"都视为 false。普通历史记录的渲染结果与 Unsloth 模板逐字节一致;使用工具时,系统块还会包含上述两条额外规则。与 Unsloth 模板一样,对话中途出现系统消息仍会引发错误。已在 jinja2 中通过 75 项检查(Sharp 为 98 项),并使用 llama.cpp 自身的模板代码渲染了相同的测试用例。 ## https://huggingface.co/nazeshinjite/Flash-Next-Chat-Templates#unsloths-changes-to-stockUnsloth 对原版的修改 Unsloth 于 2026-08-26 修改过一次原版模板,此后未再更改。其版本会合并开头的system/developer消息(原版拒绝developer和第二条系统消息),将high映射为xhigh,渲染没有用户轮次的对话,并针对没有名称的工具调用和 JSON 字符串参数给出易读的错误信息(后者仍会失败)。 致谢:感谢 Unsloth 提供基础模板。多项修复借鉴了 froggeric/Qwen-Fixed-Chat-Templates (https://huggingface.co/froggeric/Qwen-Fixed-Chat-Templates) 的思路。简洁性指令块来自 peculiar-ragdoll/Qwen-Sharp-Chat-Templates (https://huggingface.co/peculiar-ragdoll/Qwen-Sharp-Chat-Templates)(Apache-2.0)。
相似文章
froggeric/Qwen-Fixed-Chat-Templates
该仓库为 Qwen 3.5 和 3.6 提供了修复后的 Jinja 聊天模板,解决了官方模板在 LM Studio、llama.cpp 等引擎中的渲染错误、token 浪费和功能缺失问题。
修复并优化 Qwen 3.8 的 Jinja 聊天模板
本文详细介绍了针对 Qwen 3.8 模型的 Jinja 聊天模板的改进,修正了先前版本中的问题,以确保输出质量和基准性能的一致性。
peculiar-ragdoll/Qwen-Sharp-Chat-Templates
本文描述了一个针对Qwen AI模型的即插即用聊天模板修复方案,该方案提高了准确性,减少了token使用量,并加速了知识工作和编程任务的响应速度。
AtomicChat/Qwen3.8-Flash-Next-GGUF 真的非常好
AtomicChat 对 Qwen3.8-Flash-Next-GGUF 的量化显著降低了内存使用,从 106GB 减少到 65GB,同时保持了良好的推理性能,使其在硬件受限的环境中更高效。
@ZixuanLi_:更新了 GLM-5.3 和 GLM-5.3-Flash 的聊天模板。工具结果重排现在会提前退出,而不再逐个扫描……
GLM-5.3 和 GLM-5.3-Flash 的 HuggingFace 聊天模板已更新,通过提前退出优化了工具结果重排,建议开发者拉取最新模板用于部署。