标签
发布了 Qwen3.8-Flash-Next 的 GSQ-RCO 量化和专家剪枝版本，在降低比特率的同时达到 BF16 级别的性能，并支持在更小硬件上部署。
本文指出，仅凭余弦相似度不足以作为AI模型中量化下可解释性转移的证据，并提出一种测量噪声基线的方法，同时展示高相似度值可能并不意味着真正的保留。
本项目实现了一个分布式流水线推理引擎，在一个由七个ESP32S3微控制器组成的集群上运行一个0.5B BitNet语言模型，采用1.58位量化和SPI菊花链通信。
LlamAmpere v0.4发布，包含Ampere特定优化，在单张NVIDIA 3090 GPU上为Qwen3.8-27B模型实现超过95 TPS的速度，并支持262K上下文。
本文介绍了I-Parakeet，一个专为移动NPU优化的纯整数Conformer ASR模型，实现了高效的设备端语音识别。
用户探索了Swift-Qwen3.8-7B模型的量化变体，采用GGUF格式，指出其紧凑的尺寸允许在32GB显存中使用完整的262k上下文，并报告了基准性能。
一位用户分享了针对Tesla P100 GPU的内核优化，以提升使用llama.cpp运行Qwen 3.8模型时的性能，实现了显著的推理加速。
用户分享了在Mac M4Pro上运行Qwen3.8-Flash-Next模型的经验，强调通过量化获得更快的性能，并使用llama.cpp实现了131K的上下文大小。
一项实验使用llama.cpp对Qwen模型中的特定过度思考令牌应用对数惩罚，从而在各种量化下提高了MATH-500基准的准确性，带来了显著的准确性提升和推理令牌的减少。
一位用户构建了一个名为Strata的开源推理引擎，用于优化Qwen3.8-Flash-Next在普通硬件上的运行，将速度从最初的15 tok/s提升到了最高65.1 tok/s。
用户分享了他们使用 Qwen3.8 模型配合 ExLlamaV3 在 6x3090 GPU 上的积极体验，达到了每秒 80-120 个令牌，并通过 Matrix 控制 Hermes 代理进行日常使用。
Swift 1.5 是基于 Qwen3.8-27B 的更新 AI 模型，在智能体和编程任务中提供改进的性能，并支持多种量化以适应不同硬件平台。
作者将预训练的PLE n-gram记忆从Qwen3.8-Flash-Next转移到Qwen3.5-0.8B，在不微调骨干网络的情况下，验证困惑度降低了5.05%。主要发现包括动态门控和阅读器训练在记忆注入方面的有效性。
一项对60K参数下Ternary语言模型的受控重新检查表明，基线形状显著影响性能比较，挑战了关于路由Ternary模型优势的先前说法。
本文提出G^2PTQ，一种统一的大语言模型训练后量化框架，采用广义梯度补偿来改善与全精度模型的对齐，优于最先进基线。
本文提出了一种softmax重参数化方法，这是一种后训练方法，在量化前选择一个功能等效的输出头，以降低小型语言模型的推理成本。该方法在各种量化技术和数据集上都展示了显著的改进。
一位用户在 AI 论坛上询问 Qwen Flash Next 在 Q2 量化下是否优于 27B 参数模型在 Q4 量化下的表现。
用户分享了在配备 NVIDIA 5090 GPU 和 64GB RAM 的系统上使用 Llama.cpp 运行 Qwen3.8-Flash-Next 模型的性能结果和设置细节，指出推理过程中 RAM 使用量异常低。
UkisAI 发布了基于 Qwen 的高效推理大语言模型 Swift 系列，这些模型提供了显著的令牌减少和准确度提升，并支持多种量化选项以供部署。
Qwen3.8-27B-S-experimental 的预览版，一个使用 Mirai S 编解码器的量化 AI 模型，现已在 Hugging Face 上公开可用。它支持在 Apple Silicon 上使用 uzu 和在 NVIDIA 上使用 vLLM 进行推理，并提供性能详情和使用说明。