上个月你问我,谁在管理一个“自主”个人AI的基础模型。以下是我给出的答案,以及我认为它可能失败的四个方面。

Reddit r/artificial 新闻

摘要

作者回顾了他们之前关于通过混合栈实现自主个人AI的提议,并指出了四个潜在的失败模式:未经校准的可移植记忆、可信计算承诺、小型模型局限性以及协议采用。他们要求社区进一步剖析这一论点,并分享具体案例。

不久前,我曾在这里发文询问个人AI能否让民主持续下去。当时最令我印象深刻的反驳——来自用户u/Roodut——与民主毫无关系。它说的是:谁训练了基础模型、谁托管了算力、谁付了账单、谁推送了更新,谁就掌控了你所谓“自主”的东西。我当时给出了一个答案。此后我一直在完善它,但现在我意识到这只是一个半成品答案。与其为它辩护,我更希望你能将其推翻。 我当时给出的答案是:近期的自主性不在于“训练你自己的前沿模型”。它是一个混合栈:记忆和身份以本地优先、加密、个人所有;小型本地模型用于处理涉及敏感记忆的任何内容;加密云端或可信计算用于繁重的推理;采用开放格式的可移植记忆,因此离开无需任何代价;智能体之间使用开放协议,而不是单一供应商的API。核心主张是:自主性存在于记忆和身份层,而非权重层。 我认为它可能失败的四个方面 1. 可移植记忆但缺乏可移植校准。我可以导出我的记忆文件。但个人AI之所以有用,靠的不是文件——而是数月来针对特定模型进行修正,教会它如何解读我。切换到另一个基础模型后,记忆转移了,但校准没有。如果真是这样,护城河从来就不是数据,可移植性大多只是表面功夫。 2. 可信计算是你试图不去信任的那一方做出的承诺。证明(attestation)告诉你某些代码在某个安全区内运行。但验证被证明的模型是否就是塑造你智能体判断的那个模型,并且能持续更新,这是另一个问题——而进行证明的实体,正是你原本想要防范的那个。 3. 小型本地模型可能不足以胜任那个最关键的任务。对一个人的价值观、矛盾之处和决策风格进行建模,显然不是一件可以交给小模型处理的轻松任务,而让云端去做“艰难的推理”。这或许才是真正的难点。如果是这样,敏感的工作恰恰就是那份离开设备的工作。 4. 开放协议在与集成产品的竞争中有过糟糕的记录。电子邮件和RSS在理论上赢了。但大多数人的实际行为转向了集成产品,因为它们在第一天就更好用。一个只有等到所有人都采用才具备竞争力的协议,通常不会被采用。 我在问什么:还有哪些地方会失败——是否有人真的交付了其中的一部分?对我最有帮助的是:一个具体的失败模式及其触发条件;一个尝试过这四个层次之一的现有系统,以及它的结果;一条关于我的四个反对意见中哪一个是错误的理由,尤其是第一条,那将是最致命的;一个使得整个方案在消费级硬件上不切实际的实现细节。最没帮助的是:普遍认同中心化AI不好。我已经这么想了——这并没有告诉我应该先构建哪一层。 我怎么处理这些回答:答案会被放入一个我以图形式维护的模型中,注明来源和链接。它们不会成为“证据”,也不会改变任何数字——一个有说服力的论点会成为我必须运行的实验,而不是我可以断言的事实。上一帖的反对意见仍然未解决,所以我才又回来了。
查看原文

相似文章

如果个人AI是终身主权伴侣,而非一次性的助手会怎样?

Reddit r/artificial

本文提出了一种愿景:为每个人配备一个持久、主权化的AI伴侣——即“公民AI”,它维护着带有来源记忆的私人知识图谱、内部联盟以及人类主权,而非仅仅是一个一次性的助手。文章邀请读者就关键架构与伦理问题提出批评。

AI治理的警醒之谈

Reddit r/artificial

这篇Reddit帖子讨论了一篇研究论文,该论文揭示了AI治理中的根本性挑战,包括社会攻击面、基于LLM的代理在社会一致性上的失败,以及当前治理工具对代理系统的不充分性。