在关于开放权重模型的争论中，Capital One提出了不同的观点

# 在关于开放权重模型的争论中，Capital One 提出了不同的观点 来源：https://www.fastforward.blog/in-the-debate-over-open-weight-models-capital-one-makes-a-different-case/ 人工智能行业正在就开放权重模型展开激烈辩论，争论的核心是安全与开放的对立。尽管AI实验室认为开放权重缺乏足够的护栏——鉴于最近关于私有模型失控的报道层出不穷，这种说法颇有些讽刺意味（https://www.wired.com/story/ok-well-there-are-even-more-ai-agent-hacking-incidents/?utm_mailing=wir_nl_6685_daily_080526_tta9t61vog&utm_source=nl&utm_brand=wired&utm_campaign=aud-dev&utm_medium=email&cndid=88866320&utm_term=6685&utm_content=wir_nl_6685_daily_080526_tta9t61vog）——Capital One 则认为，问题更多在于多功能性，以及能否针对作为受监管银行的独特需求对模型进行塑造。 我最近采访了 Capital One 人工智能基础部门高级副总裁 Milind Naphade。他坚称，该银行别无选择，只能采用开放权重，因为为高度受监管的行业构建工具需要大规模的定制化，而这通常无法通过专有模型实现。 "实际上，我们会将模型定制到这样的程度：如果我们把最终结果展示给你，你甚至认不出原始模型的样子。" Naphade 告诉 FastForward。 "要做到这一切，就需要开放权重模型，没有它们我们根本做不到。为什么这很重要？因为这是我们履行双重使命的唯一途径，既要提供高精度，又要满足监管合规要求。" 他说。 ## **数据是关键** Naphade 关于定制化的论点建立在他的一位同事去年对我所说观点的基础上。当我采访（https://www.fastforward.blog/with-a-strong-data-foundation-capital-one-was-more-prepared-for-generative-ai-than-most/）首席科学家、企业数据与AI负责人 Prem Natarajan 时，他认为，该银行数十年来积累的数据优势，正是帮助其为生成式AI做好准备的关键。 "我的数据优势要想转化为我的AI优势，唯一途径就是用我的数据对模型进行定制，而我无法对闭源模型进行定制。" Natarajan 当时表示。 💡 "实际上，我们会将模型定制到这样的程度：如果把最终结果展示给你，你甚至认不出原始模型。" —— Milind Naphade，Capital One AI基础部门高级副总裁 这种想法反映了 Capital One 对AI的更广泛态度，Naphade 表示，AI 必须融入整个系统。"我们从根本上相信，AI 转型不是叠加在现有系统之上的一层，而是必须真正发生在整个系统中，自上而下地贯穿始终。" 他说。 值得注意的是，去年该公司公开谈论过使用 Meta 的 Llama 模型。而今年，它不愿透露正在使用哪些模型。 ## **精度与效率** 当你在银行工作时，即使 90% 的精度也不够。虽然没有任何模型是完美的，但 Naphade 表示，在 AI 应用中，精度永远是第一优先。效率，即控制运行模型的成本，紧随其后排在第二位。 "我们的做法是，从必须达到的精度出发。一旦我们将模型定制到满足这一精度要求的程度，就开始着手优化效率。" 他说。这意味着要找到以最低成本实现最低延迟的方法。 圆角玻璃建筑的照片，右上角有 Capital One 标志。图片由 Capital One 提供。 为了实现这一目标，他们使用了多种技术，包括蒸馏（distillation）和多 token 预测（multi-token prediction）。他说："我们使用蒸馏，即基于一个模型，衍生出一个更高效的模型，这个衍生模型与原始模型一样精确，但在算力方面的成本要低得多。" 多 token 预测允许模型每次生成多个 token，而不是一次只生成一个，从而减少了生成答案所需的迭代次数。 ## 实际应用 去年，当该公司发布 Chat Concierge（一款帮助消费者购车的 AI 助手）时，正是采用了这些方法。通过定制化过程，该公司的延迟从提问到回答之间完全不可接受的一分钟，缩短到发布版本中的不到一秒。 "我们对它进行了极致的优化。现在响应时间不到一秒，而且没有牺牲精度。" 他说。正如他所指出的，这是一个涉及多个智能体的极其复杂的系统——平均每次响应大约要调用 15 次大语言模型（LLM）——然而，凭借他们的"科学与工程实力"，并与 Nvidia 合作，他们得以大幅降低延迟。 对 Capital One 而言，这场争论实际上与意识形态无关，甚至与寻找最强大的模型也无关。对于一家需要完全控制 AI 如何训练、调优和部署的银行来说，开放权重模型只是最务实的选择。