当客户希望内部部署大语言模型但数据治理混乱不堪时,你是选择接手并先修复数据,还是直接走人?
摘要
探讨了顾问在面对数据治理不佳的客户却急于部署大语言模型时所面临的挑战,权衡了“先修复数据”与“在混乱数据上快速部署”之间的风险。
以下是针对该问题的类 Reddit 风格正文:**当客户希望内部部署大语言模型但数据治理混乱不堪时,你是选择接手并先修复数据,还是直接走人?**
我想听听有过类似经历的人的一些真实看法,因为我一直看到同样的模式,而且我不确定我的公司处理得当。客户找到我们,通常是中大型市场企业,会说类似这样的话:“我们希望内部部署一个大语言模型。我们的竞争对手正在这么做。董事会也在催促。你们能帮我们基于内部知识库构建一个聊天机器人 / 为分析师打造辅助工具 / 为支持团队提供 AI 助手吗?”
听起来很美好。但当你开始进行需求调研时,却发现:
* 他们的“知识库”实际上是 14 个 SharePoint 站点、3 个来自并购案的 Confluence 实例、一个自 2017 年以来无人清理的共享驱动器,以及一个叫 Dave 的家伙——他知道所有事,但他将在 8 个月内退休。
* 敏感的客户数据就存放在任何拥有公司登录权限的人都能读取的电子表格中。
* 他们没有数据分类政策,或者有政策但只是写在纸上,大家都无视。
* 他们一半的“文档”其实是保存为 PDF 格式的邮件截图。
* 访问控制基本靠“感觉”。
所以你站在了岔路口。你可以:
**A) 接手项目,并悄悄先修复数据层。**
将其计价为“AI 准备度”或“知识基础工作”。花 6-9 个月做那些没人愿意付费的不光彩的数据清洗、治理和访问控制工作。然后在干净的基础上部署大语言模型。客户得到了真正的成果,但他们缺乏耐心,CFO 会问我们为什么还没交付任何实质性的东西。
**B) 无论如何都在混乱之上构建大语言模型。**
套上一些 RAG(检索增强生成),在 8 周内交付一个可演示的东西,收取费用。看着它产生幻觉,泄露不该访问的数据,或者暴露出那份包含所有人薪资的人力资源文档。希望你在诉讼发生前已经脱身。
**C) 走人。**
告诉他们他们还没准备好,建议一个小范围的项目,结果把单子输给街对面的咨询公司,那家会愉快地选择选项 B。
在实践中,我的公司做的是选项 A 的变体,但在第一季度就开始展示“AI 价值”的商业压力是残酷的。客户听到“数据治理工作”就目光呆滞,但听到“6 周内就有聊天机器人”就签下工作说明书。
我想在这个子版块听到几点:
* 你们在签约时如何界定项目范围,使得数据基础工作成为不可协商的条件,而不是后期追加销售?
* 在大公司工作的人们,你们是否会因为客户未准备好而放弃交易,还是接手工作并管理风险?
* 有人真的在尝试选项 B 后没有遭受损失并取得成功吗,还是这只是幸存者偏差在说话?
* 当你清楚知道基础不牢时,如何处理合伙人/主管施加的“赶紧交付点什么”的压力?
我真诚地认为,许多关于“80% 的 AI 项目失败”的报道都追溯到这个确切的决策点,而我们并没有对客户诚实地说明这一点。
相似文章
使用 LLM 构建的创始人——您会付费让人搭建 AI 成本追踪和提供商路由基础设施吗?验证一个想法。
一位创始人寻求对其服务进行验证,该服务利用开源工具配置生产级 LLM 网关,以解决企业常见问题,如成本可见性、供应商锁定和个人身份信息(PII)泄露。
在与20多个在生产环境中运行LLM的团队交流后,三个痛点反复出现
基于与20多个团队的对话,作者指出了在生产中使用LLM时反复出现的三个痛点:仅企业版提供的基础功能、缺乏代理可观测性、以及新模型支持缓慢。
为什么80%的AI项目失败:别再把LLM当SaaS用,要像基础设施一样对待。
认为大多数AI项目失败的原因是组织将LLM视为简单的SaaS产品,而非需要技术严谨性的复杂基础设施。
在生产环境中调用LLM API时,最常见的问题是什么?
讨论生产环境中调用LLM API时常见的错误,包括速率限制、格式不匹配、响应格式错误、上下文溢出、模型弃用以及静默失败,并引用Datadog的统计数据及相关论文。
LLM治理的机械执行:金融决策系统中治理-任务解耦的证据
本文引入了五项治理指标,用于在受监管金融工作流程中量化LLM在决策理由层面的政策合规性。研究发现,机械执行(在模型解释循环之外操作)将无信息的延迟决策减少了73%,并揭示了治理-任务解耦:纯文本治理在压力下两个维度均退化,而机械执行即使在任务性能下降时仍能保持治理质量。