Qwen3.8 Flash Next ISTA-DASLab GGUF 在'Strata'引擎上实现50t/s文本生成和1500t/s提示处理，配备12GB显存和64GB内存的笔记本电脑

我认为大多数人低估了这款推理引擎。我尝试了多个llama.cpp的分支，但没有一个能接近Strata的推理速度。初始版本在KV缓存和CPU节流方面有一些bug，开发者已经修复了。推理引擎（目前仅支持Nvidia；AMD支持为实验性）：https://github.com/Niko1221/Strata 以下是一些带截图的指标。我的笔记本电脑配备5070ti 12GB显存、64GB DDR5内存、Intel 275HX CPU和Gen4 SSD。水族馆测试（通过本地API连接的unsloth studio）我使用的模型是 https://huggingface.co/ISTA-DASLab/Qwen3.8-Flash-Next-GSQ-RCO-GGUF/tree/main/IQ3_XXS，该模型在尺寸上具有良好的质量。以上，模型生成了水族馆测试。在43k上下文深度时，运行速度为51 t/s。原版llama.cpp使用相同量化仅达到23t/s。32k上下文读取速度为1500t/s（通过本地API的unsloth studio）该量化使用原版llama.cpp仅能达到100t/s的提示处理速度。Strata读取32k上下文文本的速度为1500t/s。这远超我的预期。该量化在8位下可加载高达200k上下文。然而，我只使用了131k上下文。内存使用情况 如您所见，它使用了11GB显存和56GB内存（包括系统/操作系统程序）。这款引擎专为单一模型构建，仅特定gguf（ISTA-DASLab）可与之兼容。您可以使用ISTA-DASLab的IQ3_S，他们声称该模型在编码基准测试中恢复了完整模型的性能。我测试了IQ3_XXS一段时间，可以说它是一款出色的模型。我从未想过12GB显存足以在笔记本电脑上本地运行6个月前的前沿模型。真是一个好时代！