标签
作者成功在NInfer上使用Qwen3.8-27B实现了类似jev的API，在JevBench上达到了84.4%的准确率，结果相当不错，但这仍然是一个存在一些错误的概念验证。
NInfer 新增对 Qwen3.8-27B 模型的 Day-0 支持，在单张 RTX 5090 上使用推测解码可实现约 200 tok/s 的生成速度，并包含并发请求和内核优化等引擎改进。