deepseek-ai/DeepSpec 源代码：https://github.com/deepseek-ai/DeepSpec # DeepSpec DeepSpec 是一个用于训练和评估投机解码草稿模型的全栈代码库，包含数据准备工具、草稿模型实现、训练代码和评估脚本。 ## 环境 安装 Python 依赖： bash python -m pip install -r requirements.txt 数据准备额外需要一个推理引擎来服务目标模型（用于重新生成答案），详见 scripts/data/README.md。 ## 工作流程 按顺序执行各阶段——每个阶段的输出作为下一阶段的输入： 1. 数据准备 — 下载提示词、重新生成目标答案并构建目标缓存。 2. 训练 — 基于缓存的目标输出训练草稿模型。 3. 评估 — 在基准任务上测量投机解码的接受率。 ## 数据准备 详见 scripts/data/README.md 的分步数据流水线： 1. 下载并拆分训练数据， 2. 重新生成答案， 3. 准备目标缓存（存储警告：这可能会非常大——对于默认的 Qwen/Qwen3-4B 设置，大约需要 38 TB）。 ## 训练 bash bash scripts/train/train.sh train.sh 启动 train.py，该文件为每个可见 GPU 启动一个工作进程。通过将 config_path 指向 config/ 下的某个配置文件（例如 config/dspark/dspark_qwen3_4b.py）来选择算法和目标模型；详见脚本头部的配置文件完整列表、如何覆盖 config_path / target_cache_dir，以及如何使用 --opts 覆盖单个配置字段。检查点会写入 ~/checkpoints///step_*。 硬件：默认配置和脚本假设单个节点有 8 张 GPU。如果 GPU 较少，请减少 CUDA_VISIBLE_DEVICES。 ## 评估 bash bash scripts/eval/eval.sh eval.sh 对 eval_datasets/ 中的投机解码基准（gsm8k、math500、aime25、humaneval、mbpp、livecodebench、mt-bench、alpaca、arena-hard-v2）运行 eval.py 评估已训练的草稿检查点。 设置： - target_name_or_path — 草稿所针对训练的目标模型（例如 Qwen/Qwen3-4B）， - draft_name_or_path — 草稿检查点，例如 ~/checkpoints/deepspec/dspark_block8_qwen3_4b/step_latest。 ## 支持的算法 目前，DeepSpec 包含三种草稿模型：DSpark、DFlash（https://arxiv.org/abs/2602.06036）和 Eagle3（https://arxiv.org/abs/2503.01840）。 ## 许可证 DeepSpec 基于 MIT 许可证 发布。其中包含从第三方项目改编的代码，这些代码遵循其自身许可证；详见 NOTICE 中的完整归属信息。 ## 致谢 DeepSpec 借鉴了以下优秀开源项目的思路和代码： - SpecForge（https://github.com/sgl-project/SpecForge）（Apache-2.0）——整体训练框架和 Eagle3 实现；部分 Eagle3 建模、损失函数、优化器、注意力和评估代码改编自该项目。改编后的文件包含文件内归属注释，完整声明见 NOTICE。 - DFlash（https://github.com/z-lab/dflash）（MIT）——DFlash 草稿模型设计和训练方法。 - Qwen3（https://github.com/QwenLM/Qwen3）和 Gemma（https://github.com/google-deepmind/gemma）——本仓库支持的目标模型家族。 我们感谢这些项目的作者和维护者。欢迎贡献新算法。