标签
ANEMLL-FORGE 报告了在 Apple 的 ANE M6 上对 Qwen 3.8-27B 进行预填充时,对 KV-cache 应用 int8 V-compression 的结果,压缩与反量化均在 ANE 上执行,以获得内存 I/O 节省。