gbnf-grammar

一位开发者用Rust为llama.cpp构建了一个GBNF语法编译器，该编译器强制遵循工具调用的JSON模式，使小型模型（如8B参数）能够可靠地调用工具。该系统每次调用时将语法限制为仅匹配的工具，提高了可靠性。