Consumer Reports 为涉及金钱的 AI 制定了一项标准。我们对照它给自己打分。

Consumer Reports 为涉及金钱的 AI 制定了一项标准。我们对照它给自己打分。 作者：Brady Bastian，Pendragon 创始人 Consumer Reports 最近发布了《消费者金融 AI 标准》——九项原则，每项都有具体、可测试的标准，适用于任何处理个人财务生活的 AI 产品。这是对每个用户最终都会问的问题给出的最具体的答案：我应该对这个产品抱有什么期望？我们的习惯是，当有人发布一个严肃的基准时，我们会对照自己运行它，并发布我们的发现——包括那些不光彩的部分。我们用自己的研究协议和中毒数据做过同样的事。所以这里是针对 Consumer Reports 标准的相同处理。 首先，坦白说：这些评分是我们自己的自我评估。Consumer Reports 并未对 Pendragon 进行评估、认证或背书。如果他们将来建立认证计划，我们会第一个排队——而这篇帖子就是我们提前展示的工作成果。 得分板，在文过饰非之前 九项原则。我们自己的评分：六项强，两项部分，一项我们目前几乎完全失败。这篇帖子的其余部分是证据，失败的部分有单独的一节，而失败的那一项是整个标准中最有趣的部分。 架构发挥作用的地方 随着我们逐条对照标准，一种模式浮现出来：我们最强项的原则，都是通过构建方式实现的——不是因为政策这么说，而是因为系统在物理上就是那样设计的。 忠诚义务：标准问的是，当 AI 服务对象的利益与公司利益冲突时，AI 为谁服务？我们诚实的答案是，我们消除了冲突，而不是管理它。Pendragon 的唯一收入是你的订阅费。没有联盟佣金，没有赞助推荐，不出售你的数据，没有订单流。当 Arthur 建议你偿还信用卡而不是投资时，没有哪条收入线倾向于任何一方答案。标准中大部分利益冲突标准，对我们来说，都是关于我们故意从未构建的机制的问题。 诚实与非操纵：标准要求准确性经得起用户质疑——不屈服于坚持，不告诉乐观的用户他们想听的话。这是 Pendragon 构建的核心：数学运算运行在一个对话无法触及的确定性层中。你可以带着希望、恐惧或愤怒问 Arthur 同样的问题，返回的数字每次都通过相同的计算得出，经过签名，并显示计算过程。标准还要求公司披露谄媚测试——我们更进一步，公开预先注册了我们的评估协议，以便你可以检查我们是否真的运行了所承诺的内容。 隐私与数据最小化：你的活期账户数据存在于活期账户工作区；退休数据存在于退休工作区；每个在数据库层隔离，有各自的凭据。分析你支出的专家物理上无法读取你的投资组合。访问是只读的——我们无法移动一分钱——删除你的数据只需在设置中键入两个词，硬删除，无需支持工单。出乎意料的是，我们的测试人员最喜欢的界面是删除界面。 透明度：标准要求在给出推荐时同时提供解释、来源、置信度和替代方案，而不是应要求提供——并且明确表示通用免责声明不算数。这描述了 Arthur 每个答案下方的来源页脚：检查了哪些账户，计算了什么，他的置信度，以及当他无法验证时显示的“未验证”徽章。上周我们发现一个 bug，后备方案编造了置信度分数，我们将这视为产品中最严重的错误，并在提交历史中明确说明。 自主权与控制以及安全：标准中最难的安全标准——AI 代理之间的通信必须经过认证并能抵抗权限提升——很罕见，因为几乎没有人运行多代理金融系统。我们做到了，所以 Pendragon 中每个跨专家的请求都经过加密签名，并由一个治理合约限定范围，该合约列出其允许的确切操作。而标准中关于控制自主金融行动的整个部分，对一个不采取任何此类行动的产品来说基本不适用：Arthur 计算、解释和记忆。他不移动资金。我们的条款中没有强制仲裁条款。 不光彩的部分 只找到及格分数的自我评估就是营销。以下是我们目前失败的部分，用直白的语言表述： 我们大部分未能履行“活力义务”。标准的第九项原则要求金融 AI 成为倡导者：了解与你的情况相关的消费者保护法律，告诉你何时可以申诉以及如何申诉，说明某项报价是高于还是低于市场价，帮助你组织申诉，然后将决定权留给你。Arthur 目前几乎不做这些。他会告诉你你的财务状况如何；但他还不会告诉你，你正面对的不利决定附带要求解释理由的合法权利。我们认为这项原则是标准中最具前瞻性的部分，对我们来说，它读起来像产品路线图。标准自己的措辞——AI“装备消费者，并将行动决定权留给消费者”——与我们内部描述 Arthur 职责的措辞几乎一字不差。我们打算赢得这个分数。 没有可以升级到的人类。标准期望在紧急或令人痛苦的情况下，有一条从 AI 到响应的人类的路径。目前，我们是一个创始人运营的产品，路径是电子邮件。这很诚实，但不是系统，也不符合标准。 你可以删除数据，但还不能下载。删除是一等公民；导出尚不存在。这现在是已承诺的工作。 我们的公平性测试已承诺但尚未完成。我们预先注册的协议包括人口统计中立性测试并发布结果——包括在修复任何发现之前发布基线的规则。承诺是公开的；完整运行尚未完成。在此之前，我们只声明方法，而非结果。 文档滞后于架构。没有 SOC 2 认证，没有已发布的渗透测试，没有正式的算法影响评估文档，没有符合 WCAG 的可访问性审计，仅英文。初创公司会随时间积累这些，我们也会——但标准是正确的：不能以文档形式交给怀疑读者的信任，是不完全算数的信任。 标准还划定了另一条线，我们希望精确说明：注册。Pendragon 不是注册投资顾问，也不像注册投资顾问那样行事——没有交易，没有资产管理，没有“你应该”。Arthur 展示基于你自己数据计算的结果和权衡；决定总是你的。随着我们的规划功能深化，我们将该边界视为设计中的真正约束，而不是律师可以绕过的技术细节。 我们的承诺 本着标准的精神——并以书面形式，以便你可以监督我们：数据导出是构建列表上的下一个；一个定义明确的升级到人类的路径，附带响应时间承诺，取代“给创始人发邮件”；公平性基线运行完成并发布，无论结果好坏；我们将发布一份信任与治理文档，将我们的架构映射到该标准的九项原则，逐条标准，这样没有人需要只信一篇博客文章。 为什么这个标准重要 标准揭示了一个令人不安的真相，而且这不是关于我们的：今天市场上几乎没有产品能达标。忠诚冲突是免费金融应用的商业模式。谄媚是每个通用聊天机器人的默认行为。来源——显示答案实际来自你的哪个账户——大多不存在。Consumer Reports 为很大程度上尚未构建的产品制定了一项标准。我们比大多数更接近，不是因为我们更聪明，而是因为我们做了架构