giveen/Decapybara 来源：https://github.com/giveen/Decapybara

Decapybara 🦫

Decapybara 是 MegaCapybara LLM 推理服务器的整洁、开源的 C++20 和 CUDA 重构实现（目标硬件为 NVIDIA RTX 5090 Blackwell，目标模型为 Qwen3.8-27B）。

“源代码稍后将会发布。” —— 好吧，“稍后“就是现在。

架构概览

Decapybara 由三个统一的子系统组成：

1. 推理服务器（decapybara）：

   • 现代 C++20 HTTP 服务器，支持双 API：
     • OpenAI 兼容：/v1/chat/completions、/v1/completions、/v1/models
     • Anthropic 兼容：/v1/messages
   • 多层级层次化 KV 缓存（显存 \to 锁页内存池 \to 磁盘分页）。
   • 精确的 144 字节二进制容器读取器，用于读取 .mcapy 张量文件。
   • 内置 BPE 分词器和 ChatML 模板引擎。
   • 生成循环重复检测（LoopGuard）。

2. Blackwell CUDA 内核套件（decapybara_kernels）：

   • megakernel.cu：单次启动的持久化解码循环，216 字节参数分发。
   • mx_gemv.cu：Blackwell NVFP4 / MXFP8 分块矩阵向量乘法。
   • attn_prefill.cu：带 KV 反量化的 FlashAttention 预填充。
   • deltanet_prefill.cu：DeltaNet 线性递归状态更新循环。
   • mtp.cu：Multi-Token Prediction 词表切片器和残差聚合。
   • drafter.cu：DFlash 投机概率树遍历。
   • moe.cu：Mixture of Experts 路由器（Top-8 门控和 softmax）。
   • decode_ops.cu：连续 Rotary Position Embeddings（RoPE）和微缩放 FP8 KV 准备。
   • vision.cu：Vision Transformer patch LayerNorm 和 2D 空间网格嵌入。
   • act_quant.cu：动态 32 元素 MXFP8 激活量化器。
   • sample.cu：设备端 Philox RNG 采样器，支持存在性惩罚和频率惩罚。
   • checksum.cu：实时显存位翻转完整性监控，使用 warp 蝶形洗牌。
   • probe.cu：128 位缓存流式内存带宽性能分析器。

3. 配套启动器（DecapybaraLauncher）：

   • GDDR7 显存和内存容量规划估算器。
   • 自动模型发现和投机式 Drafter 配对。
   • 预设配置（MaxEfficiency、Medium、MaxQuality）。

构建说明

前置要求

• Linux x86_64（glibc ≥ 2.38）
• C++20 编译器（g++ ≥ 13 或 clang++ ≥ 17）
• CUDA Toolkit（CUDA 12 或 13，包含 nvcc）
• CMake ≥ 3.20

构建所有组件

git clone <仓库地址>
cd Decapybara
mkdir -p build && cd build
cmake ..
make -j$(nproc)

构建产物：

• bin/decapybara：主服务器
• bin/DecapybaraLauncher：配套启动器
• libdecapybara_kernels.a：静态 CUDA 内核库

运行

# 查看可用选项
./build/decapybara --help

# 启动启动器进行容量估算和模型启动
./build/DecapybaraLauncher

# 在 localhost:8080 上启动服务器
./build/decapybara --host 127.0.0.1 --port 8080 --kv-mode 6/6

许可证

MIT