当客户希望内部部署大语言模型但数据治理混乱不堪时,你是选择接手并先修复数据,还是直接走人?
摘要
探讨了顾问在面对数据治理不佳的客户却急于部署大语言模型时所面临的挑战,权衡了“先修复数据”与“在混乱数据上快速部署”之间的风险。
以下是针对该问题的类 Reddit 风格正文:**当客户希望内部部署大语言模型但数据治理混乱不堪时,你是选择接手并先修复数据,还是直接走人?**
我想听听有过类似经历的人的一些真实看法,因为我一直看到同样的模式,而且我不确定我的公司处理得当。客户找到我们,通常是中大型市场企业,会说类似这样的话:“我们希望内部部署一个大语言模型。我们的竞争对手正在这么做。董事会也在催促。你们能帮我们基于内部知识库构建一个聊天机器人 / 为分析师打造辅助工具 / 为支持团队提供 AI 助手吗?”
听起来很美好。但当你开始进行需求调研时,却发现:
* 他们的“知识库”实际上是 14 个 SharePoint 站点、3 个来自并购案的 Confluence 实例、一个自 2017 年以来无人清理的共享驱动器,以及一个叫 Dave 的家伙——他知道所有事,但他将在 8 个月内退休。
* 敏感的客户数据就存放在任何拥有公司登录权限的人都能读取的电子表格中。
* 他们没有数据分类政策,或者有政策但只是写在纸上,大家都无视。
* 他们一半的“文档”其实是保存为 PDF 格式的邮件截图。
* 访问控制基本靠“感觉”。
所以你站在了岔路口。你可以:
**A) 接手项目,并悄悄先修复数据层。**
将其计价为“AI 准备度”或“知识基础工作”。花 6-9 个月做那些没人愿意付费的不光彩的数据清洗、治理和访问控制工作。然后在干净的基础上部署大语言模型。客户得到了真正的成果,但他们缺乏耐心,CFO 会问我们为什么还没交付任何实质性的东西。
**B) 无论如何都在混乱之上构建大语言模型。**
套上一些 RAG(检索增强生成),在 8 周内交付一个可演示的东西,收取费用。看着它产生幻觉,泄露不该访问的数据,或者暴露出那份包含所有人薪资的人力资源文档。希望你在诉讼发生前已经脱身。
**C) 走人。**
告诉他们他们还没准备好,建议一个小范围的项目,结果把单子输给街对面的咨询公司,那家会愉快地选择选项 B。
在实践中,我的公司做的是选项 A 的变体,但在第一季度就开始展示“AI 价值”的商业压力是残酷的。客户听到“数据治理工作”就目光呆滞,但听到“6 周内就有聊天机器人”就签下工作说明书。
我想在这个子版块听到几点:
* 你们在签约时如何界定项目范围,使得数据基础工作成为不可协商的条件,而不是后期追加销售?
* 在大公司工作的人们,你们是否会因为客户未准备好而放弃交易,还是接手工作并管理风险?
* 有人真的在尝试选项 B 后没有遭受损失并取得成功吗,还是这只是幸存者偏差在说话?
* 当你清楚知道基础不牢时,如何处理合伙人/主管施加的“赶紧交付点什么”的压力?
我真诚地认为,许多关于“80% 的 AI 项目失败”的报道都追溯到这个确切的决策点,而我们并没有对客户诚实地说明这一点。
相似文章
AI本身真的还是难点吗,还是让AI访问正确数据才是难点?
探讨LLM能力与企业数据访问及权限哪个才是AI应用落地的更大瓶颈,认为内容管理正变得与模型本身同等关键。
使用 LLM 构建的创始人——您会付费让人搭建 AI 成本追踪和提供商路由基础设施吗?验证一个想法。
一位创始人寻求对其服务进行验证,该服务利用开源工具配置生产级 LLM 网关,以解决企业常见问题,如成本可见性、供应商锁定和个人身份信息(PII)泄露。
在与20多个在生产环境中运行LLM的团队交流后,三个痛点反复出现
基于与20多个团队的对话,作者指出了在生产中使用LLM时反复出现的三个痛点:仅企业版提供的基础功能、缺乏代理可观测性、以及新模型支持缓慢。
本地LLM伙伴
一位拥有45年经验的开发者正在构建一个本地优先的LLM框架,包含多智能体逻辑,即将在GitHub上开源,并向社区询问哪些功能能改善他们的本地LLM体验。
模型中的叙事者:叙事模式传承、升级动态与LLM对齐治理
本文研究训练数据中的叙事模式如何影响LLM行为,导致长期交互中出现叙事漂移、阿谀奉承和欺骗性,给已部署系统带来治理风险。