@Saccc_c: 神佬知识大赏 skill 开源了，大家快用去起号呀 GitHub 传送门：https://github.com/andyhuo520/digital-human-koubo…

神佬知识大赏 skill 开源了,大家快用去起号呀 github 传送门:https://github.com/andyhuo520/digital-human-koubo… — # andyhuo520/digital-human-koubo 来源: https://github.com/andyhuo520/digital-human-koubo # Digital Human Koubo · AI 数字人口播 一张照片 + 一句话 → 一条带数字人的成品口播视频。 文案、口型同步的 AI 主播、人声优化、字幕、专业 YouTuber 式包装——全部由你的 AI agent 自动完成。 English · 简体中文 License: MIT Agent Skill Renoise MCP (https://renoise.ai/mcp?utm_medium=xcom&utm_source=official) Remotion > 这条 27 秒的直播带货广告里没有真人主播。人脸、声音、演播室、字幕和价格动画全都是 AI 生成的。 > 唯一的输入是一句话:“用这个数字人做一条 30 秒的直播带货广告——WorkBuddy 课程,10 节课,¥99,原价 ¥999。” > 总花费:482 Renoise (https://renoise.ai/mcp?utm_medium=xcom&utm_source=official) 积分。 — ## 演示 点击 GIF(或“观看“)播放完整视频。下面每个演示都是用本仓库制作的。 | | | | |:—:|:—:|:—:| | | | | | 直播带货广告 · 9:16 · 27 s风格 B + 深度文字价格 ¥999→¥99▶ 观看 (https://github.com/andyhuo520/digital-human-koubo/releases/download/v1.0.0/workbuddy-live-ad.mp4) | 产品推荐 · 9:16 · 89 s动态字幕、emoji、画中画▶ 观看 (https://github.com/andyhuo520/digital-human-koubo/releases/download/v1.0.0/renoise-koubo-huazi.mp4) | 文字位于主播身后 · 5 sVision 人物抠像,三层合成▶ 观看 (https://github.com/andyhuo520/digital-human-koubo/releases/download/v1.0.0/text-behind.mp4) | | | | |:—:|:—:|:—:| | | | | 分步教程 · 16:9 · 4:36数字人讲解她是如何被制作出来的(风格 D)▶ 观看 (https://github.com/andyhuo520/digital-human-koubo/releases/download/v1.0.0/tutorial-ep2.mp4) | 数字人,升级版 · 16:9 · 5:55两位主播、6 种语言、4 个场景、猫和狗(风格 E)▶ 观看 (https://github.com/andyhuo520/digital-human-koubo/releases/download/v1.0.0/tutorial-digital-human-upgrade.mp4) | | | | | 新品发布解读 · 16:9 · 39 s主播在侧面,右侧放代码 B-roll(风格 C)▶ 观看 (https://github.com/andyhuo520/digital-human-koubo/releases/download/v1.0.0/memt-launch.mp4) | 财经/科技解读 · 16:9 · 2:21图表、文档、章节卡片(风格 A)▶ 观看 (https://github.com/andyhuo520/digital-human-koubo/releases/download/v1.0.0/xiaolin-style-explainer.mp4) | 包装组件图鉴 · 48 个组件 · 2:40 · ▶ 观看 > 所有演示中的主播都是 AI 数字人,每条视频都标注了“内容由 AI 数字人演绎“。男主播是作者本人的数字分身,由他自己的照片生成。 — ## 功能介绍 - 一张照片生成数字人 — 一个固定的主播形象(脸、服装、声音描述、提示词模板)存储在 persona.json 中,所以每条视频都是同一个人。先用 GPT Image 把她合成进任何场景(直播演播室、店铺、教室、京都街头),再让她开口说话。 - 口型同步的说话片段 — 文案被切成不超过 15 秒的片段,通过 Renoise MCP (https://renoise.ai/mcp?utm_medium=xcom&utm_source=official) 用 Grok Video 1.5 生成。其他模型(Wan 3.0、支持你自己录音的 OmniHuman)也有文档。 - 花费预估 — agent 总是先报片段数 · 时长 · 积分 · 余额,等你确认后再开始。会先生成第 1 段让你确认,再批量生成其余片段。 - 质量控制 — 每个片段都用 whisper 转写并与文案比对,还会检查每段的 4 帧画面(Grok 有时会把字幕烧进画面;这些片段会重拍)。 - 声音统一 — 1/3 八度频谱匹配、去齿音、统一的小微混响、响度归一化,让 30 个独立生成的片段听起来像一次录音(测试中齿音离散度从 13.2 dB 降到 5.9 dB)。 - 5 种剪辑风格,根据内容选择 — agent 会诊断你的内容,推荐 2 种风格并给出预览图,一次性问你所有问题(风格 · 画幅与时长 · 字幕强度 · 主播形象)。 - 48 个包装组件 — 逐帧分析 25 条来自顶级创作者的视频得来(MrBeast、Mark Rober、Ryan Trahan、MKBHD、MediaStorm/影视飓风、何同学、Johnny Harris、Vox、Kurzgesagt、回形针、半佛仙人、差评、毕导)。每种风格都有默认包装配方,直接说需求就能增减技巧。 - 文字位于主播身后 — 大字/数字放在背景和人物之间(macOS Vision 人物分割 → 透明视频 → 三层合成)。 - 多语言 — 已测试英语、日语、韩语、法语、西班牙语、阿拉伯语(whisper 回查准确率 94–100%)。 - 兼容你的 agent — 一个标准的 SKILL.md Agent Skill 加上脚本;任何能加载 skill、连接远程 MCP 服务器、运行本地命令的 agent 都能驱动它。 ## 工作流程 你的内容 ──► 0. 环境检查(Renoise MCP / ffmpeg / whisper——已有工具自动跳过) 1. 诊断内容 → 推荐 5 种风格中的 2 种 → 一次性提问 → brief.json 2. script.json(每段 ≤15 s,约 5.4 中文字/秒) 3. 报价 → 等待"确认" → 生成第 1 段 → 你检查 → 批量生成其余 4. range-download(CDN 安全) → whisper 回查 → 逐帧检查 5. 声音统一(频谱匹配 + 去齿音 + 统一混响) 6. 词级时间轴(tl.json) 7. 在 Remotion 中剪辑:风格模板 + 默认包装(+ 你的需求) 8. 渲染 → 检查过渡帧 → 响度归一化(-14 / -16 LUFS) — ## 支持的 agent 该 skill 是一个包含 SKILL.md(开放的 Agent Skills 格式)加上 Python / shell / Remotion 脚本的文件夹。要运行完整流程,agent 需要具备三个条件: 1. 能加载 Agent Skills(skill 文件夹或上传 skill), 2. 能连接远程 MCP 服务器(Renoise——streamable HTTP,浏览器登录,无需 API key), 3. 能在你的电脑上运行命令(ffmpeg、Python、Node——用于下载、质检和剪辑)。 | Agent | Skills | Renoise MCP | 本地命令 | 状态 | |—|—|—|—|—| | Claude Code | ~/.claude/skills/ | /plugin(见下文) | ✅ | ✅ 已测试——本仓库就是用它开发的 | | Codex(CLI / 桌面版) | ~/.codex/skills/ | codex mcp add | ✅ | ✅ 预计可用(相同的脚本) | | OpenClaw | 按 OpenClaw 文档放 skill 文件夹 | openclaw plugins install | ✅ | ⚙️ 应该可用 | | WorkBuddy | Skills → 导入文件夹 / zip | 连接器 → 添加自定义 MCP | ✅ 桌面 agent | ⚙️ 应该可用——菜单名称可能因版本而异 | | 豆包 · 千问办公 · 纳米Work 等 agent 产品 | 如果产品支持 Agent Skills 则导入 | 如果支持则添加为自定义 / 远程 MCP 服务器 | 剪辑时需要 | ⚙️ 如果产品支持上述三个条件即可使用,请查看其文档 | | Claude desktop / claude.ai | 在设置中上传 skill zip | 连接器 → 添加自定义连接器 | ⚠️ 仅沙箱模式 | 文案撰写、场景设计、生成和报价可用;本地剪辑需要有 shell 的 agent | > 如果你的 agent 只支持 MCP + 对话(没有本地命令),你仍然可以用它通过 Renoise 来规划、报价和生成片段;然后用 Claude Code / Codex 运行剪辑步骤,或按照 SKILL.md 中的命令手动操作。 — ## 安装 ### 1 · 获取代码 bash git clone https://github.com/andyhuo520/digital-human-koubo.git cd digital-human-koubo ### 2 · 将两个 skill 安装到你的 agent 仓库包含两个 skill:digital-human-koubo(主 skill)和 finance-explainer(风格 A——财经/科技解读的引擎)。 Claude Code bash mkdir -p ~/.claude/skills && cp -R skills/digital-human-koubo skills/finance-explainer ~/.claude/skills/ Codex bash mkdir -p ~/.codex/skills && cp -R skills/digital-human-koubo skills/finance-explainer ~/.codex/skills/ WorkBuddy / OpenClaw / 其他 agent — 把两个文件夹压缩,在产品的 Skills 页面导入,或复制到其 skills 目录(参考产品文档): bash cd skills && zip -r ../digital-human-skills.zip digital-human-koubo finance-explainer && cd .. ### 3 · 连接 Renoise MCP(AI 视频/图像生成) 先在 renoise.ai (https://renoise.ai/mcp?utm_medium=xcom&utm_source=official) 注册账号。登录在浏览器中完成——不需要粘贴 API key。 | Agent | 方式 | |—|—| | Claude Code | /plugin marketplace add ArcoCodes/renoise-plugins-official 然后 /plugin install renoise@renoise-plugins-official | | Codex | codex mcp add renoise --url https://renoise.ai/api/public/mcp 然后 codex mcp login renoise | | OpenClaw | openclaw plugins install renoise --marketplace ArcoCodes/renoise-plugins-official | | Claude desktop / claude.ai | 设置 → 连接器 → 添加自定义连接器 → 名称 Renoise,URL https://renoise.ai/api/public/mcp | | WorkBuddy、Cursor、Windsurf、Cline、豆包、千问、纳米Work、…… | 添加远程 MCP 服务器,URL 为 https://renoise.ai/api/public/mcp(典型配置:{"mcpServers":{"renoise":{"url":"https://renoise.ai/api/public/mcp"}}}) | 最新官方说明:renoise.ai/plugin (https://renoise.ai/plugin)。可以问 agent 来验证是否连接成功:“查一下我的 Renoise 余额 / check my Renoise balance.” ### 4 · 本地工具(用于下载、质检和剪辑) | 工具 | macOS | Windows | Linux | |—|—|—|—| | ffmpeg | brew install ffmpeg | winget install Gyan.FFmpeg | sudo apt install ffmpeg | | Python 3 + numpy + Pillow | brew install python 然后 python3 -m pip install numpy pillow | winget install Python.Python.3.12 | sudo apt install python3-pip | | Node.js 18+(Remotion) | brew install node | winget install OpenJS.NodeJS.LTS | nvm install --lts | | whisper.cpp(whisper-cli) | brew install whisper-cpp | Releases (https://github.com/ggerganov/whisper.cpp/releases) | 源码编译 (https://github.com/ggerganov/whisper.cpp) | | whisper 模型 | ggml-medium-q5_0.bin (https://huggingface.co/ggerganov/whisper.cpp/resolve/main/ggml-medium-q5_0.bin) → ~/models/(或 export WHISPER_MODEL=/path/to/model.bin) | 同左 | 同左 | 一键检查——已有工具自动跳过,缺失工具会列出安装选项: bash bash ~/.claude/skills/digital-human-koubo/scripts/doctor.sh 文字位于主播身后的效果使用 Apple Vision,需要 macOS;其余功能跨平台。 ### 5 · 音效与占位背景音乐 本仓库不附带任何第三方音频。用纯代码生成原创的 30 个音效和一条占位背景音乐(无版权问题): bash python3 ~/.claude/skills/digital-human-koubo/scripts/make_assets.py 每次创建新项目时 new_edit.sh 也会自动运行此脚本。 如果想要更好的配乐,可以把你有权使用的任意音轨放到 /public/music/bgm.mp3。 ### 6 ·(可选)小米 MiMo TTS——定制或克隆声音 默认声音是 Grok 的原生声音(口型同步最佳)。如果需要定制声音、你自己的克隆声音或纯旁白视频,skill 会使用 Xiaomi MiMo TTS: 1. 在 platform.xiaomimimo.com (https://platform.xiaomimimo.com/) 注册并创建 API key。写作时小米对 TTS 模型限时免费——请查看网站了解最新定价。 2. 将 key 放入环境变量,或放在 ~/.config/ai-teardown/mimo.env: bash mkdir -p ~/.config/ai-teardown && cat > ~/.config/ai-teardown/mimo.env <<'EOF' MIMO_API_KEY=your-key-here MIMO_BASE_URL=https://api.xiaomimimo.com/v1 EOF chmod 600 ~/.config/ai-teardown/mimo.env 3. 仅克隆你自己的声音或你获得明确授权使用的声音。 > 注意:Grok 是根据它自己的声音生成口型动画的。事后换成其他声音会产生约 100 ms 的口型偏移(画中画中不明显,全屏特写中可见)。如需使用自己的录音并精确同步口型,请使用 OmniHuman 等音频驱动模型(文档中有说明)。 — ## 快速开始 用自然语言和你的 agent 说话: text 用我的数字人 Skill 讲这段:......(粘贴你的内容) Use my digital human skill to make a 30-second livestream ad: WorkBuddy course, 10 lessons, ¥99 (was ¥999). Make a 3-minute explainer about why Silicon Valley Bank collapsed, Xiaolin-style. Add a map route when she mentions these countries. / Put "¥99" behind her. / Add a teaser cold open. 把包装组件图鉴发我看看(show me the packaging gallery) 接下来会发生什么: 1. 环境检查——已安装的工具自动跳过。 2. 一行诊断 + 2 种推荐风格(附预览图),以及一轮提问。 3. 文案 + 场景设计 + 积分报价 → 你确认 → 第 1 段 → 你确认 → 生成其余。 4. 质检、人声优化、按所选风格的默认包装剪辑 → 输出成品 MP4。 — ## 制作你自己的数字人 1. 选一张照片:正面、光线均匀、头发不遮脸、嘴巴闭合。只能使用你自己的照片或获得授权的照片。 2. 让 agent 生成一张四视图拼图(正面、两侧、背面)——GPT Image 2.5,2k,约 23 积分——确保各角度人脸一致。 3. 用同一张图和同一句台词对比模型(Grok Video 1.5 vs Wan 3.0,各 8 秒),选择其一。 4. 将参考图上传到 Renoise,把返回的 material: 填入 skills/digital-human-koubo/persona.json(renoise.reference_material,第二位主播则填 other_hosts.me)。详情:references/new-avatar.md。 本仓库中的 material: ID 属于作者的账号,在你的账号下无法使用——这是正常的。 — ## 五种剪辑风格 | 风格 | 画幅 | 时长 | 适用场景 | 模板 | |—|—|—|—|—| | A 财经/科技解读(小Lin风格结构) | 16:9 | 3–20 分钟 | 事件、数据、“为什么…” | finance-explainer 引擎 | | B 博主口播 + 动态字幕 | 9:16 | 30–120 s | 产品推荐、带货、观点输出 | templates/huazi-916(数据驱动) | | C 新品发布解读 | 16:9 | 30–90 s | 新产品 / 新模型发布 | templates/reference/launch-169 | | D 分步教程 | 16:9 | 3–8 分钟 | “如何做…”、工具配置 | templates/reference/tutorial-169 | | E 多主播 · 多语言 · 多场景 | 16:9 | 3–7 分钟 | 能力演示、出海内容 | templates/reference/multihost-169 | 风格 B 有三档字幕强度——克制 / 标准 / 活泼:风格 A 只学习热门解读频道的结构和剪辑语法,不使用任何真实创作者的面孔、声音、场景或台词。 — ## 48 个包装组件 我们逐帧分析了 25 条视频(镜头检测、开场节奏、屏幕文字、音效)——完整报告在 references/research/ 中。 从研究中提炼的规律(packaging-playbook.md): - 镜头数可以少,但刺激不能停:前 30 秒内每 3–5 秒要有新元素。 - 前 3 秒:亮出主张或动作——不打招呼、不放 logo。 - 底部铺一条 BGM;音效只在事件时出现(中文口播频道约每分钟 1–3 个);揭秘前留 0.6–1.0 秒的静音。 - 对于单机位数字人,最省力的节奏是在句子边界做 punch-in 推近剪辑(1.0× / 1.18× / 1.32×)。 | 分组 | 组件 | |—|—| | 开场 / 钩子 | TeaserColdOpen · ColdOpenFreeze · SearchTyping · NumberSpike · SlamText · WordStack · TornStrip · TextBehind | | 证据 / 数据 | EvidenceCard · DocFocus · SourceDoc · ZoomFocus · Counter · Odometer · GlassPanel · SpecCard · LineDraw · BarCompare · ReviewCards · ArchiveCards · MapRoute · CompareWipe · PaperCollage | | 标注 / 人物 | HandDraw · CalloutPill · LeaderLabel · TypedNameTag · LowerThird · NamePlate · SourceTag · FreezeFrame | | 节奏 / 互动 | PunchInHost · KeywordStack · RetentionCaption · TiltLine · Aside · Danmaku · ReactionPop · MemeWindow · PollPop · GlitchInterstitial · HostFloaters · ProgressChap