我构建了一个GBNF语法编译器，使8B模型能够可靠地调用工具——以下是它的工作原理（深度解析）

我一直在用Rust构建一个本地代理（Eris），它运行在llama.cpp上，并使用Obsidian兼容的存储库作为记忆。约有50个工具（存储库读/写、记忆、提醒、网页抓取、邮件、日历、视觉）。最大的痛点是让小型模型输出有效的工具调用JSON。各位都知道这个问题：模型将JSON包裹在代码围栏中，编造工具名称，忘记闭合大括号，在对象后面添加尾随文本。我的解决方案：在会话开始时，我将每个工具的JSON Schema编译成GBNF规则，这样采样器不仅强制执行“有效JSON”，还强制执行“对于这个特定工具有正确的键、类型和枚举值的有效JSON”。然后在每次LLM调用之前，我将语法缩小为仅语义路由器为此轮匹配的工具。8B模型在3个工具之间选择而不是50个=更加可靠。我写了一篇详细的技术文章，介绍了它的工作原理，并包含了项目中的实际代码：https://eris-system.dev/blog/gbnf-grammars 在4080（16GB VRAM）上运行Gemma 4 12B。在聊天+约32k上下文+视觉上效果很好。仓库：https://github.com/janpauldahlke/eris (Apache 2.0) 很高兴回答关于语法编译器、恢复循环或架构的问题。