NVIDIA发布NVFP4版Kimi-K2.6和Kimi-K2.5模型

Reddit r/LocalLLaMA 模型
nvidia kimi moonshot-ai quantization nvfp4 language-model open-source

摘要

NVIDIA发布了Moonshot AI的Kimi-K2.6和Kimi-K2.5语言模型的NVFP4量化版本，保持高精度，可用于商业和非商业用途。

>NVIDIA Kimi-K2.6-NVFP4模型是Moonshot AI的Kimi-K2.6模型的量化版本，该模型是一种自回归语言模型，采用优化的Transformer架构。更多信息请查看[此处](https://huggingface.co/moonshotai/Kimi-K2.6)。NVIDIA Kimi-K2.6 NVFP4模型使用[Model Optimizer](https://github.com/NVIDIA/Model-Optimizer)进行量化。 >此模型可用于商业/非商业用途。 >准确率基准测试结果如下表所示： |**Precision**|**GPQA Diamond**|**SciCode**|**τ²-Bench Telecom**|**MMMU Pro**|**AA-LCR**|**IFBench**| |:-|:-|:-|:-|:-|:-|:-| |Baseline (INT4)|90.9|52.6|98.2|75.6|71.0|73.9| |NVFP4|90.4|54.4|98.0|76.5|71.8|73.9| >*Baseline:* [Kimi-K2.6](https://huggingface.co/moonshotai/Kimi-K2.6) ***以其原生INT4格式*** *进行基准测试。参数设置：temperature=1.0, top\_p=0.95, max num tokens=128000。* 链接： [https://huggingface.co/nvidia/Kimi-K2.6-NVFP4](https://huggingface.co/nvidia/Kimi-K2.6-NVFP4) [https://huggingface.co/nvidia/Kimi-K2.5-NVFP4](https://huggingface.co/nvidia/Kimi-K2.5-NVFP4)
查看原文

相似文章

Kimi K2.6

Product Hunt

Kimi K2.6 作为开源模型发布，在长程编码与智能体集群基准测试中达到 SOTA 性能。

Kimi-K3 在 HuggingFace 上发布

Reddit r/artificial

Moonshot AI 发布了 Kimi-K3，这是一个拥有 2.8 万亿参数的混合专家模型，支持 100 万 tokens 的上下文窗口。该模型已在 HuggingFace 上以具有商业限制的宽松许可证提供。

Kimi 供应商验证器 — 验证推理服务提供商的准确性

Hacker News Top

## 重建「信任链」：Kimi 供应商验证器 来源：[https://www.kimi.com/blog/kimi-vendor-verifier](https://www.kimi.com/blog/kimi-vendor-verifier) [研究](https://www.kimi.com/blog/)## 重建“信任链”：Kimi 供应商验证器[![GitHub](https://img.shields.io/badge/GitHub-181717?style=flat&logo=github&logoColor=white)](https://github.com/MoonshotAI/Kimi-Vendor-Verifier)[​](https://www.kimi.com/blog/kimi-vendor-verifier#rebuilding-the-chain-of-trust-kimi-vendor-verifier) 随着