fp16

标签

Cards List
#fp16

第二个 K3 的权重发布了,我正在下载完整的 FP16 并藏在床垫里

Reddit r/LocalLLaMA · 5小时前

一位用户发推文说正在下载第二个 K3 模型的完整 FP16 权重并储存起来,开玩笑地让其他人别锁门。

0 人收藏 0 人点赞
#fp16

有没有人测试过量化对不同能力的影响?我的结果令人惊讶。

Reddit r/LocalLLaMA · 2026-07-09

作者分享了对不同量化级别(如Q4_K_M、Q5_K_M)如何分别影响模型能力的系统测试的惊人结果,显示数学准确度下降幅度大于知识类任务,并呼吁对不同量化级别的上下文衰减进行更严格的测试。

0 人收藏 0 人点赞
#fp16

@0xkeenz: 今天验证了一个纠结很久的事情 Qwen3.6 27B 官方原模型是 BF16 权重,但一些量化版本,比如 cyankiwi / Unsloth,会把部分关键权重转换成 FP16 而不是保持 BF16。BF16 和 FP16 在存储占用上是…

X AI KOLs Timeline · 2026-07-08 缓存

作者验证了Qwen3.6 27B模型权重从BF16转换为FP16不会导致数值溢出,并指出FP16尾数精度更高,解释了量化版本为何使用FP16而非保持BF16。

0 人收藏 0 人点赞
← 返回首页

提交意见反馈