Seedance 引发关注，Nvidia 的 AI 引导芯片设计，帮助机器人不遗忘

# Seedance 惊艳亮相，英伟达AI辅助芯片设计，帮助机器人“不忘记” 来源：https://www.deeplearning.ai/the-batch/issue-352 亲爱的朋友们， 人工智能不会导致就业末日。 那种认为人工智能会导致大规模失业的说法正在引发不必要的恐慌。AI——像任何其他技术一样——确实会影响工作，但夸大其词地宣扬大规模失业的故事是不负责任的，也是有害的。让我们制止这种说法。 我在之前的信件中已经表达了对就业末日论的怀疑。我很高兴看到大众媒体现在开始反驳这种论调。下面的图片展示了一些近期的头条新闻。 软件工程是受AI工具影响最大的领域，因为编码代理正在飞速发展。然而，软件工程师的招聘依然强劲 (https://www.businessinsider.com/ai-isnt-killing-software-coding-jobs-booming-trueup-2026-4?utm_campaign=The%20Batch&utm_source=hs_email&utm_medium=email&_hsenc=p2ANqtz--IjdAXea57qGhd47Px0TpF-XMalyDNlYGcmyfnZ1JBWa2Forc5dnMgkqh6juqD-3kJQ6yc)！因此，尽管存在AI夺走工作岗位的例子，但趋势强烈表明，净创造的工作岗位远远多于被摧毁的——就像之前的技术浪潮一样。此外，尽管AI取得了令人兴奋的进步，美国的失业率仍保持在健康的4.3%。 为什么AI就业末日论如此流行？原因之一：前沿AI实验室有强烈的动机去讲述让AI技术听起来更强大的故事。在最极端的情况下，他们宣传AI“接管”并导致人类灭绝的科幻场景。如果一项技术能替代许多员工，那么这项技术肯定非常有价值！ 此外，许多SaaS软件公司每用户每年的收费大约在100到1000美元之间。但如果一家AI公司能够替代一名年薪10万美元的员工——或者使其生产力提高50%——那么即使收费1万美元也开始显得合理。通过锚定员工的工资而非典型的SaaS价格，AI公司可以收取更高的费用。 主流报纸的头条分析“AI就业末日”预测，分享就业市场稳定的见解。此外，企业有强烈的动机把裁员说成是AI造成的。毕竟，谈论他们如何利用AI以更少的员工实现更高的生产力，会让他们看起来更聪明。这比承认他们在疫情期间低利率和巨额政府财政刺激导致资金充裕时过度招聘要好得多。 需要说明的是，我认识到AI正在导致很多人的工作发生变化。这很艰难，压力很大。（对某些人来说，也可能很有趣。）我对所有受影响的人感同身受。但同时，这与预测就业市场崩溃截然不同。 社会有能力在多年间讲述一些与现实脱节的故事，并导致全社会范围内糟糕的决策。例如，对核电站安全的恐惧导致对核电投资不足。20世纪60年代对“人口炸弹”的恐惧导致各国实施严厉的减少人口政策。对膳食脂肪的担忧导致政府几十年间推广不健康的高糖饮食。 现在主流媒体公开对就业末日论表示怀疑，我希望这些故事会开始失去影响力（就像对AI导致人类灭绝的恐惧已经消退一样）。 与AI就业末日的预测相反，我预测恰恰相反：将会出现一场AI就业狂欢！AI将带来大量优质的AI工程岗位，我对整体就业市场的未来也持乐观态度。AI工程师所做的事情将不同于传统软件工程，其中许多岗位将出现在非传统大型开发商雇主的业务中。在非AI岗位上，所需技能也会因AI而改变。这使得现在成为鼓励更多人精通AI、确保他们为未来不同但充足的岗位做好准备的好时机！ 继续构建， Andrew --- ## 来自DEEPLEARNING.AI (http://deeplearning.ai/?utm_campaign=The%20Batch&utm_source=hs_email&utm_medium=email&_hsenc=p2ANqtz--IjdAXea57qGhd47Px0TpF-XMalyDNlYGcmyfnZ1JBWa2Forc5dnMgkqh6juqD-3kJQ6yc) 的消息 关于新的CopilotKit和DeepLearning.AI课程的宣传图，该课程关于生成式UI，用于构建交互式代理应用。(https://www.deeplearning.ai/short-courses/build-interactive-agents-with-generative-ui)大多数代理只返回文本。学习构建能够渲染图表、表单和交互式用户界面的代理。在本课程中，您将把一个LangChain代理连接到React前端，并跨越生成式用户界面谱系进行构建，最终得到一个全栈应用，使用户和代理能够在共享状态上协同工作。立即免费注册！(https://www.deeplearning.ai/short-courses/build-interactive-agents-with-generative-ui/?utm_campaign=The%20Batch&utm_source=hs_email&utm_medium=email&_hsenc=p2ANqtz--IjdAXea57qGhd47Px0TpF-XMalyDNlYGcmyfnZ1JBWa2Forc5dnMgkqh6juqD-3kJQ6yc) ## 新闻 透过雨窗，一位披萨工人在菜单板和红色霓虹“披萨”标志下准备食物。## 字节跳动争夺视频领导地位 随着OpenAI准备关闭Sora，字节跳动将其自己的视频生成模型提供给数亿用户。 **最新动态：** 字节跳动将Seedance 2.0 (https://seed.bytedance.com/en/seedance2_0?utm_campaign=The%20Batch&utm_source=hs_email&utm_medium=email&_hsenc=p2ANqtz--IjdAXea57qGhd47Px0TpF-XMalyDNlYGcmyfnZ1JBWa2Forc5dnMgkqh6juqD-3kJQ6yc)，其多模态视频生成器，添加到其流行的视频编辑应用CapCut (https://www.capcut.com/newsroom/dreamina-seedance-2?utm_campaign=The%20Batch&utm_source=hs_email&utm_medium=email&_hsenc=p2ANqtz--IjdAXea57qGhd47Px0TpF-XMalyDNlYGcmyfnZ1JBWa2Forc5dnMgkqh6juqD-3kJQ6yc)中。该模型今年早些时候在中国推出，现在覆盖了东南亚、拉丁美洲、非洲、中东、部分欧洲地区、日本和美国的付费CapCut用户。 - **输入/输出：** 输入文本、图像、音频和视频（最多3个视频片段、9张图像和3个音频片段），输出同步视频和音频（4至15秒，短边480或720像素，6种宽高比：21:9、16:9、4:3、1:1、3:4和9:16） - **功能：** 多语种口型同步对话、环境音、音乐、单个片段中包含多个镜头切换、通过提示控制摄像机和照明、输出带有隐形水印、通过CapCut阻止包含真实人脸或受版权保护角色的输入图像 - **性能：** 在Arena AI和Artificial Analysis视频排行榜上位列前两名 - **可用性/价格：** 通过CapCut（中国区为剪映）付费层、Dreamina网页界面、字节跳动服务BytePlus和火山引擎的API，以及第三方提供商如Higgsfield.ai (https://higgsfield.ai/ai/video?utm_campaign=The%20Batch&utm_source=hs_email&utm_medium=email&_hsenc=p2ANqtz--IjdAXea57qGhd47Px0TpF-XMalyDNlYGcmyfnZ1JBWa2Forc5dnMgkqh6juqD-3kJQ6yc)（每输出秒0.30美元，720像素，含音频），或通过SeeDance 2.0 Fast更快处理，每秒0.24美元 - **未公开：** 架构、参数数量、训练数据和方法 **工作原理：** Seedance 2.0扩展了字节跳动早期的工作，从同步生成音视频流并行发展到在统一系统内联合生成。字节跳动的发布公告将其架构描述为“稀疏”。 - 该模型接受视频-音频参考输入，用于四个任务：(i) 基于参考的生成将主体、运动、视觉效果和/或风格线索应用于新输出。(ii) 编辑修改现有视频中的指定区域、角色、动作和/或音频。(iii) 扩展生成现有视频之前或之后的输出。(iv) 组合模式将这些任务配对（例如，用参考图像中的主体替换现有视频中的主体）。 - 音频与视频同时生成，产生立体声对话、音效和背景音频。 - 模型在单次生成中生成连续的镜头和切换，而不是生成并组装单独的片段，这有助于保持角色和场景的一致性。 **性能：** Seedance 2.0在两个独立排行榜上排名第一和第二，这些排行榜通过人类偏好的盲投进行头对头评比。阿里巴巴的HappyHorse-1.0是两个排行榜上最接近的挑战者。 - 在arena.ai上，Seedance 2.0在文生视频性能上达到1460 Elo，在图生视频性能上达到1454 Elo，微弱领先于HappyHorse-1.0（每项1444 Elo）。不过，排行榜将Seedance 2.0和HappyHorse-1.0的结果标记为初步。 - 在Artificial Analysis上，阿里巴巴的HappyHorse-1.0在四个视频类别中的三个领先（无声图生视频、带声与无声文生视频），Seedance 2.0排名第二。Seedance 2.0在带同步音频的图生视频性能上领先，达到1182 Elo，领先于HappyHorse-1.0（1168 Elo）和Sky Work AI的SkyReels V4（1091 Elo）。 - 字节跳动指出在细节稳定性、超写实感、音频失真、多主体一致性、文本渲染准确性和复杂编辑效果方面存在局限性。 **是的，但是：** 在字节跳动在中国发布Seedance 2.0后不久，一个包含演员汤姆·克鲁斯和布拉德·皮特肖像的生成片段引发了六家好莱坞顶级工作室要求该公司停止在其模型上训练受版权保护的材料，并阻止用户基于受版权保护的材料生成片段。此争议尚未解决。字节跳动在CapCut上增加了保护措施，但尚不清楚这些措施是否延伸到通过第三方API生成的输出。 **新闻背后：** 过去一个月，视频生成市场迅速洗牌。美国开发者退出了消费市场，而中国开发者以加速的步伐发布了新模型。 - 3月，OpenAI宣布将停止Sora应用和API。报道称，该公司在Sora日活跃用户从发布时的约100万降至不足50万后，将计算资源转移到了编码和商业产品上，而该服务运营成本估计每天100万美元。 - 阿里巴巴的HappyHorse-1.0在4月初登上独立视频排行榜，当时仍处于封闭测试阶段，并在多个类别中升至第一。 - 不久之后，阿里巴巴推出了HappyOyster，一个用于开发游戏和电影的3D环境生成AI系统。用户可以从文本或图像生成3D环境，并实时操控。 - 腾讯在同一天开源了其Hunyuan 3D的更新版本。 **为什么重要：** 虽然竞争对手提供视频生成器或编辑应用中的一种，但字节跳动两者兼备。而且，其编辑器似乎拥有巨大的覆盖范围。据报道，CapCut在移动端拥有7.36亿月活跃用户，是仅次于ChatGPT的第二大消费者AI产品。Seedance 2.0在CapCut上的上线展示了一家公司同时控制两者时所能做到的。 **我们的想法：** OpenAI撤下Sora揭示了一个残酷的事实：鉴于当前的计算成本，AI生成的视频是一种昂贵的消费产品。 --- 信息图展示了英伟达的芯片设计流程，突出了布局、布线器和优化阶段。## 英伟达如何使用AI设计芯片 英伟达的首席科学家梦想着告诉一个AI模型设计一款新GPU，然后自己滑雪两天，让系统完成工作。他概述了英伟达朝着这个目标取得的进展以及还需要走多远。 **最新动态：** 领导英伟达大约300名研究人员的Bill Dally，在英伟达GTC大会（3月中旬）上与谷歌的Jeff Dean同台对话中，描述了AI在公司芯片设计中日益增长的作用。他的例子（视频中大约24分钟开始）从使用强化学习系统布局芯片的构建块，到训练了数十年专有文档的大型语言模型。 **工作原理：** 英伟达在芯片设计的五个阶段应用AI：布局组件、设计算术电路（对二进制数进行数学运算的组件，如加法器和计数器）、通用工程辅助、验证完成的设计以及探索新颖布局。 - 每当英伟达利用新的半导体制造工艺（通常是为了缩小组件尺寸，以便在每单位硅面积上容纳更多组件）时，它必须重新设计大约2500到3000个小型的可重用布局块（或单元），例如逻辑门和内存锁存器。一个名为NVCell的AI系统负责这项工作。NVCell将提出候选布局的遗传算法与一个强化学习代理配对，该代理逐步修正违反设计规则的情况（例如，导线放置过近）。代理每清除一个违规就会获得奖励，每采取一个步骤就会受到轻微惩罚，这激励它找到通往干净设计的最短路径。一个规则检查器标记违规，代理学习修复它。