@cjzafir: 这是我的微调数据集生成流程：> Codex 5.5 作为编排器 > Deepseek v4 Pro 作为生成器 简而言之…

X AI KOLs Timeline 工具
fine-tuning dataset-generation synthetic-data codex deepseek pipeline

摘要

本文描述了一个微调数据集生成流程，使用 Codex 5.5 作为编排器，Deepseek v4 Pro 作为生成器，通过自主质量门控和迭代改进，以低成本生成高质量合成数据。

这是我的微调数据集生成流程： > Codex 5.5 作为编排器 > Deepseek v4 Pro 作为生成器 简言之，我用 Codex 充当大脑，Deepseek 充当肌肉，手工打造每一条数据集。正是这种“手工打造”带来了高质量。 用 Python 脚本通过同义改写来生成合成数据集并不难，但产出的数据质量低。 低质量数据 = 低质量模型性能 但借助这个流程，Codex 为 Deepseek 设计了一套完整的工作流。因此 Deepseek 不需要自己思考，只需按照 Codex 的规范逐批执行即可。 生成后，每批数据都会经过 Codex 构建的严格“质量门控”，过滤掉所有弱数据行，只保留高质量行。 最棒的是：每批数据都会让 Codex 改进其为 Deepseek 设计的生成规范以及质量门控。这个循环使得流程更快、更便宜，并产出越来越好的数据。 Deepseek v4 Pro 目前非常便宜。我生成了一个 100M+ 参数的数据集，花费 80 美元，并且用掉了 95% 的每周 Codex 20x Pro 订阅额度。 在我批准 Codex 工作流后，这个流程完全是自动化的。只需将这张图片粘贴到 Codex 中，让它针对你的用例生成一个数据集生成流程（详细说明：你要微调什么模型？你有原始数据集吗？等等），剩下的 Codex 会处理。告诉我你的体验。
查看原文

相似文章

制作用于微调的合成数据集

Reddit r/LocalLLaMA

作者提出了一种使用形式求解器为LLM生成多样化合成推理训练数据的流程，并询问现有工作以及关于避免重复模板的建议。

无需训练的合成：面向表格、时序与关系型数据的纯推理合成数据流水线

arXiv cs.LG

论文提出 GenScript，一种纯推理的合成数据流水线。它不再针对每个数据集训练模型，而是将源数据的确定性统计画像输入 LLM，由其推断字段语义与完整性约束，再由编码代理将其编译为可审计的采样器。该方法统一了表格、时序与关系型数据的合成，可在几分钟内构建生成器，同时在保真度上接近领先方法，并保留关键的完整性约束。

DeepSeek 开源推理优化，生成速度提升 60–85% [pdf]

Hacker News Top

DeepSeek 开源了 DeepSpec，这是一个用于训练和评估推测解码草稿模型的全栈代码库，可实现 60-85% 的生成速度提升。它包含数据准备、训练和评估脚本，支持多种草稿模型算法（DSpark、DFlash、Eagle3）。