apple-ane

标签

Cards List
#apple-ane

@anemll:V-compression(int8)对 Qwen 3.8-27B 预填充阶段 KV-cache 的影响,ANE M6 ANEMLL-FORGE。压缩(量化-反量化)在 ANE 上完成……

X AI KOLs Following ↗ · 2026-10-02 缓存

ANEMLL-FORGE 报告了在 Apple 的 ANE M6 上对 Qwen 3.8-27B 进行预填充时,对 KV-cache 应用 int8 V-compression 的结果,压缩与反量化均在 ANE 上执行,以获得内存 I/O 节省。

0 人收藏 0 人点赞
← 返回首页

提交意见反馈