ai-quantization

标签

Cards List
#ai-quantization

@Tech2Wild:我看到许多关于NFP4和EXL3的讨论,需要一个定论。EXL3在量化方面是否正向前推进?

X AI KOLs Following · 4天前

用户询问EXL3量化技术相较于NFP4在AI模型中是否取得进展,需要一个结论。

0 人收藏 0 人点赞
#ai-quantization

Qwen3.8-27B IQ3_XXS 在16 GB Quadro上正确实现多层传输矩阵法:100分钟、3次压缩与108k输出令牌

Reddit r/LocalLLaMA · 2026-08-26

一个高度量化的Qwen3.8-27B模型在16 GB Quadro GPU上运行,尽管经历了超过100分钟的广泛推理和调试,仍从零开始成功实现了正确的多层传输矩阵法。

0 人收藏 0 人点赞
← 返回首页

提交意见反馈