verifiable-inference

本文首次对大语言模型的零知识友好型量化进行了系统性研究，对该概念进行了形式化定义，并在权重、激活值以及非线性查找表精度三个维度上评估了九个模型（包括 Qwen2.5-14B 和 Qwen3-30B-A3B）。研究发现，激活值精度和 RMSNorm 平方根倒数查找是 ZK 证明成本的主导因素，而传统的低比特量化启发式方法并不能转化为按比例的证明开销节省。

文章讨论了可验证的AI推理的概念，探讨了可信认证和加密证明等方法，以确保AI生成输出的真实性和来源，而无需重新运行模型。