标签
作者已更新其 NInfer 分叉，添加了 rk2v4-e8 量化选项用于 KV 缓存，使得在单张 RTX 4090 上实现最高25万-35万令牌上下文，无需溢出到系统内存，并进行了优化以提升生成速度。