标签
PFlash 现在支持在单张 RTX 3090 上运行 @poolsideai 的 Laguna-XS.2 (33B-A3B MoE)，实现了 111 tok/s 的解码速度，预填充速度比 llama.cpp 快 5.4 倍，并在高达 131K 上下文中通过 NIAH 测试。