@alacheng：TypeSafe AI创始人Diogo Almeida在Jev发布前的演讲中，本应在OpenAI意识到对齐……

X AI KOLs Timeline 模型
ai-alignment rlhf automation decision-engine ai-model type-safe-ai jev

摘要

TypeSafe AI创始人Diogo Almeida讨论了当前AI模型的局限性，并介绍了Jev，一个使用RLCD对齐的新模型，专为软件自动化而非人机交互设计。

TypeSafe AI创始人Diogo Almeida在Jev发布前的一次演讲中，本应在OpenAI意识到对齐模型与人类偏好对于自动化任务来说是一个不合理的优化方向。因此，这篇采访很好地阐述了他的自动化理念。而Jev的对齐方向是RLCD。感兴趣的人可以在我的文章末尾深入解读（什么是RLCD？Jev背后的秘密）链接。 视频主要分享： 1. 他认为当前AI模型可以用“AI：过度承诺，交付不足”来概括这一现象。 2. 两类任务之间存在巨大差距 一方面是“对人类来说太好了”的能力（聊天、代码编写助手、客户服务脚本）； 另一方面是“仍然不足以实现真正自动化”的场景（需要高可靠性、无幻觉、可直接由代码调用的决策）。 3. 最痛苦的教训 他借用并扩展了Sutton的观点：算法、计算能力和数据都很重要，但最关键的是你是否在解决正确的任务。当前模型主要优化的是“让人类满意”，而不是“让软件直接可用”。 4. RLHF的副作用 他提到了Mode Collapse：为了取悦人类，模型抛弃多样性，变得过于“安全”和过于迁就，这在需要精确决策时是致命的。 5. 举例说明问题 例如，关于Taco Bell的AI快餐订单失误的新闻，用以说明：直接将LLMs投入高风险、真实世界的工作流程目前还不行。 6. 他们的方向 不再让AI成为“人类聊天助手”，而是成为软件的决策引擎（后来发布的是Jev / System One Model）： 输入状态 + 结构化问题，直接输出选择/分数及概率和置信度，而不是生成一段文本。 目标是让AI像水和电一样，成为代码可可靠调用的基础设施，从而真正驱动自动化和经济转型。 我对Jev的看法： 为什么当前聊天模型无法带来真正的自动化革命，以及下一代模型应如何为计算机而非人类聊天进行优化。如果你仅仅把Jev看作另一个用于分类、标记或排序的BERT模型，你往往会低估其潜力。它具有更好的泛化性和通用性；你现在可以在X上看到许多用例，这是BERT无法替代的。而且，它不是一个解决所有问题的模型——在某些场景下与LLMs配对可能效果更好且节省成本。但毕竟，Jev只输出概率；对于一些重要、不可逆的场景，代码仍需更多检查和验证——否则，仅仅信任其输出概率很容易导致巨大风险。对于一些LLM应用，我隐约看到了提升盈利能力的潜力；Jev将促进应用生态系统的发展，但它不是万能药。尽管它不产生幻觉，但它生成的仍然是概率。 注： TypeSafe AI创始人Diogo Almeida（前OpenAI研究员，参与过RLHF、InstructGPT、ChatGPT相关工作）在Jev发布前的一次演讲。 什么是RLCD？Jev背后的秘密：
查看原文
查看缓存全文

缓存时间: 2026/09/22 23:59

TypeSafe AI创始人Diogo Almeida在Jev发布前的演讲中，应当早已意识到：在自动化任务中，让模型对齐人类偏好是一个不合理的优化方向。这篇采访精彩地阐述了他的自动化哲学。而Jev的对齐方向是RLCD。感兴趣的读者可以在文末的解读中深入了解（《什么是RLCD？Jev背后的核心机密》链接）。

视频主要分享了以下观点：

  1. 他认为当前的AI模型可以总结为 “AI：过度承诺，交付不足”。

  2. 两类任务之间存在巨大鸿沟

    一方面是**“对人类而言过于优秀”**的能力（聊天、编程助手、客服脚本）；

    另一方面是**“仍不足以实现真正自动化”**的场景（要求高可靠性、无幻觉、决策可直接由代码调用）。

  3. 最痛苦的教训 他借鉴并扩展了Sutton的观点：算法、算力和数据都很重要，但最关键的是你是否在解决正确的任务。当前模型主要在优化“让人满意”，而非“让软件直接可用”。

  4. RLHF的副作用 他提到了模式坍塌：为了取悦人类，模型摒弃多样性，变得过于“安全”和迎合，而这在需要精确决策时是致命的。

  5. 说明问题的例子 例如，塔可钟AI点餐失败的新闻，用以说明：将大语言模型直接投入高风险的实际工作流程目前并不可行。

  6. 他们的方向 不再把AI做成“人类的聊天助手”，而是做成软件的决策引擎（后来发布的产品即Jev / System One Model）： 输入状态 + 结构化问题，直接输出带有概率和置信度的选择/评分，而不是生成一段文本。

    目标是让AI像水和电一样，成为代码可以可靠调用的基础设施，从而真正驱动自动化和经济变革。

我对Jev的看法： 为什么当前的聊天模型无法带来真正的自动化革命，以及下一代模型应如何为计算机而非人类聊天进行优化。如果你仅将Jev看作另一个用于分类、标注或排序的BERT模型，你往往会低估它的潜力。它具有更好的泛化性和通用性；你现在可以在X（原推特）上看到许多BERT无法替代的用例。同时，它并非解决一切问题的模型——在某些场景下，将其与LLM结合使用效果可能更好且更节省成本。但毕竟，Jev只输出概率；对于一些重要且不可逆的场景，代码仍需更多检查和验证——否则，仅凭其输出的概率就很容易导致巨大风险。而对于一些LLM应用，我隐约看到了提升盈利能力的潜力；Jev将推动应用生态系统的发展，但它并非万能药。虽然它不会产生幻觉，但它生成的仍然是概率。

注： TypeSafe AI创始人Diogo Almeida（前OpenAI研究员，参与过RLHF、InstructGPT、ChatGPT相关工作）在Jev发布前的演讲。

什么是RLCD？Jev背后的核心机密：

相似文章

Jev

Product Hunt

Jev 是 TypeSafe AI 的前沿模型，用于快速、结构化的AI决策，返回带有校准概率的类型化输出，现已向所有人开放。