K3 发布了！

Reddit r/LocalLLaMA 模型
model-release multimodal image-text-to-text open-source transformers vllm

摘要

Moonshot AI 发布了 Kimi-K3，这是一个多模态图像文本到文本模型，可在 Hugging Face 上获取，支持 Transformers、vLLM、SGLang 和 Docker。

暂无内容
查看原文
查看缓存全文

缓存时间: 2026/07/27 15:57

moonshotai/Kimi-K3 在主分支 Source: https://huggingface.co/moonshotai/Kimi-K3/tree/main 库 Transformers (https://huggingface.co/moonshotai/Kimi-K3?library=transformers) 如何将 moonshotai/Kimi-K3 与 Transformers 一起使用: # 使用 pipeline 作为高级辅助 from transformers import pipeline pipe = pipeline("image-text-to-text", model="moonshotai/Kimi-K3", trust_remote_code=True) messages = [ { "role": "user", "content": [ {"type": "image", "url": "https://huggingface.co/datasets/huggingface/documentation-images/resolve/main/p-blog/candy.JPG"}, {"type": "text", "text": "糖果上是什么动物？"} ] }, ] pipe(text=messages) # 直接加载模型 from transformers import AutoModel model = AutoModel.from_pretrained("moonshotai/Kimi-K3", trust_remote_code=True, device_map="auto") 笔记本 Google Colab (https://huggingface.co/moonshotai/Kimi-K3/colab) Kaggle (https://huggingface.co/moonshotai/Kimi-K3/kaggle) 本地应用 设置 (https://huggingface.co/settings/local-apps) vLLM (https://huggingface.co/moonshotai/Kimi-K3?local-app=vllm) 如何将 moonshotai/Kimi-K3 与 vLLM 一起使用: ##### 从 pip 安装并服务模型 # 从 pip 安装 vLLM: pip install vllm # 启动 vLLM 服务器: vllm serve "moonshotai/Kimi-K3" # 使用 curl 调用服务器 (兼容 OpenAI API): curl -X POST "http://localhost:8000/v1/chat/completions" \ -H "Content-Type: application/json" \ --data '{ "model": "moonshotai/Kimi-K3", "messages": [ { "role": "user", "content": [ { "type": "text", "text": "用一句话描述这张图片。" }, { "type": "image_url", "image_url": { "url": "https://cdn.britannica.com/61/93061-050-99147DCE/Statue-of-Liberty-Island-New-York-Bay.jpg" } } ] } ] }' ##### 使用 Docker docker model run hf.co/moonshotai/Kimi-K3 SGLang (https://huggingface.co/moonshotai/Kimi-K3?local-app=sglang) 如何将 moonshotai/Kimi-K3 与 SGLang 一起使用: ##### 从 pip 安装并服务模型 # 从 pip 安装 SGLang: pip install sglang # 启动 SGLang 服务器: python3 -m sglang.launch_server \ --model-path "moonshotai/Kimi-K3" \ --host 0.0.0.0 \ --port 30000 # 使用 curl 调用服务器 (兼容 OpenAI API): curl -X POST "http://localhost:30000/v1/chat/completions" \ -H "Content-Type: application/json" \ --data '{ "model": "moonshotai/Kimi-K3", "messages": [ { "role": "user", "content": [ { "type": "text", "text": "用一句话描述这张图片。" }, { "type": "image_url", "image_url": { "url": "https://cdn.britannica.com/61/93061-050-99147DCE/Statue-of-Liberty-Island-New-York-Bay.jpg" } } ] } ] }' ##### 使用 Docker 镜像 docker run --gpus all \ --shm-size 32g \ -p 30000:30000 \ -v ~/.cache/huggingface:/root/.cache/huggingface \ --env "HF_TOKEN=" \ --ipc=host \ lmsysorg/sglang:latest \ python3 -m sglang.launch_server \ --model-path "moonshotai/Kimi-K3" \ --host 0.0.0.0 \ --port 30000 # 使用 curl 调用服务器 (兼容 OpenAI API): curl -X POST "http://localhost:30000/v1/chat/completions" \ -H "Content-Type: application/json" \ --data '{ "model": "moonshotai/Kimi-K3", "messages": [ { "role": "user", "content": [ { "type": "text", "text": "用一句话描述这张图片。" }, { "type": "image_url", "image_url": { "url": "https://cdn.britannica.com/61/93061-050-99147DCE/Statue-of-Liberty-Island-New-York-Bay.jpg" } } ] } ] }' Docker Model Runner (https://huggingface.co/moonshotai/Kimi-K3?local-app=docker-model-runner) 如何将 moonshotai/Kimi-K3 与 Docker Model Runner 一起使用: docker model run hf.co/moonshotai/Kimi-K3

相似文章

Kimi-K3 在 HuggingFace 上发布

Reddit r/artificial

Moonshot AI 发布了 Kimi-K3，这是一个拥有 2.8 万亿参数的混合专家模型，支持 100 万 tokens 的上下文窗口。该模型已在 HuggingFace 上以具有商业限制的宽松许可证提供。

Kimi-K3 技术报告 [pdf]

Hacker News Top

MoonshotAI发布了Kimi-K3，一个拥有2.8万亿参数的开源权重多模态智能体模型，具备100万token的上下文窗口，基于全新的Kimi Delta Attention和Attention Residuals架构，实现了显著的扩展性改进。

Kimi K3 现已通过 Telnyx Inference API 提供

Hacker News Top

Kimi K3 是 Moonshot AI 推出的 2.8 万亿参数的开源模型，支持 100 万 token 上下文和原生视觉能力，现已上线 Telnyx Inference API，适用于编码、推理和多模态等任务。