基于 Qwen3 235B A22B Instruct 2507 构建的内存管道在 LongMemEval-S 上获得第一名（470/500），同时其令牌效率比次优系统高出约 10 倍

Reddit r/LocalLLaMA 2026/07/14 17:49 论文

memory-pipeline qwen3 long-context token-efficiency benchmark ai-research

摘要

基于 Qwen3 235B A22B Instruct 2507 构建的内存管道在 LongMemEval-S 上获得最高分（470/500），同时其令牌效率比次优系统高出约 10 倍。

暂无内容

查看原文

相似文章

Reddit r/LocalLLaMA

一位用户比较了在64GB内存系统上运行量化版Qwen3 Next 80B和Qwen3.5 122B的情况，指出了本地LLM推理中速度、质量和内存使用之间的权衡。

Reddit r/LocalLLaMA

一份详细的基准测试，比较了单张 RTX 3090 上 Qwen 3.6 27B 的投机解码引擎，显示 ik_llama 在代码生成中达到约每秒 100 个 token。结果包括 5 种引擎变体的解码 TPS、TTFT、显存占用和上下文退化情况。

Reddit r/LocalLLaMA

一位用户报告称，在q6kxl量化与多token预测下，Qwen 27B在4090+3090系统上使用LCPP实现了50-90 token/s的解码速度和1500-2200 token/s的预填充速度，并指出它在各种编码任务中表现稳定、快速且连贯。

Reddit r/LocalLLaMA

作者分享了一种高性能的本地推理配置，使用支持 TurboQuant 的修改版 llama.cpp，在硬件受限（8GB 显存、32GB 内存）的情况下运行 Qwen3.6 35B A3B，实现了 ~37-51 tok/sec 的生成速度，并支持 ~190k 上下文。

Reddit r/LocalLLaMA

一位用户分享了使用 QAT Q2 和 Q5 KV 运行量化版 Qwen 3.8 27B 模型的经验，在 12GB 显卡上实现了高达 200K token 上下文的高性能，性能超越了 Sonnet 4.6 等模型。