为营收团队构建智能体的经历让我们明白,上下文比模型更重要
摘要
Rimplo 的创始人分享了为营收团队构建智能体平台时学到的设计经验,认为上下文质量、垂直领域针对性和人工审批比使用哪种大语言模型更重要。
我们正在打造 Rimplo,一个面向营收和 GTM 团队的智能体平台。有几个设计决策的重要性超出了我们的预期,我很好奇这里的其他人怎么看。1. 我们不再执着于选择“最佳”模型。早期,我们曾争论该统一使用哪个大语言模型。每隔几周,就有新模型在某方面超越之前的模型,而且不同任务适合不同的模型。擅长撰写客户拓展文案的模型,不一定最擅长基于 CRM 数据进行推理。因此,我们选择了不绑定特定模型。用户可以使用多家供应商的模型运行智能体,并随时切换。把一个团队绑定在一家供应商上,也意味着让他们受制于这家供应商的短板。2. 上下文的重要性远超模型质量。向一个通用智能体提问“这周我应该重点关注哪些客户?”,得到的也只是泛泛的回答。同一个模型,如果有 CRM、产品使用情况、通话记录和客户支持历史作为支撑,就能给出销售副总裁真正会据此采取行动的答案。这就是我们优先构建上下文层的原因:让每个智能体都基于同一份业务全景开展工作。模型负责推理,但让答案有用的是上下文。3. 在建立信任方面,垂直领域产品胜过通用产品。营收团队不想要一张白纸。他们想要的是一个已经理解客户流失、增购和销售管道的智能体。因此,Rimplo 会建议应当采取哪些行动,而对于其他需求,用户可以用日常英语构建自己的智能体。4. 每一次发送都需要人工批准。智能体负责起草和准备,但未经批准,任何内容都不会发送给客户,也不会对 CRM 做任何改动。信任需要慢慢积累,却可能瞬间崩塌。对于正在构建垂直领域智能体的各位:你们是否也观察到了同样的现象,即上下文比选择哪个模型更重要?
相似文章
销售智能体中那些乏味的部分,比模型更重要
一位实践者分享了构建 AI 销售智能体过程中来之不易的经验,认为可靠性更多地取决于基础配套——邮箱验证、快速回复收到的消息、可核实的步骤完成情况以及严格的防护措施——而非底层模型。
构建智能体让我明白,模型很少是问题所在。你有哪些来之不易的教训?
一位开发者分享了构建AI智能体的来之不易的教训:优先关注工具设计而非模型选择,使用小循环而非大型提示,记录智能体上下文,尽早添加防护措施,以及创建小型评估来捕捉错误。
有没有人发现对于AI代理来说,上下文比模型大小更重要?
作者分享了构建AI代理的经验,发现提供清晰的上下文和指导(定义任务、规则和工具)比模型大小更能减少错误并提升性能。
上下文、推理与层次结构:对抗性POMDP中复合LLM智能体设计的成本-性能研究
在对抗性POMDP(CybORG CAGE-2)中对复合LLM智能体设计进行了一项受控研究,系统性地在五个模型系列中变化上下文、推理与层次结构。主要发现:程序化状态抽象每token产生巨大回报,无推理工具的层次结构实现了最佳绝对性能,并且上下文工程比深度推理更具成本效益。
我们构建了一个营收智能体。难点在于防止看似合理的草稿变成糟糕的行动。
构建营收智能体揭示出,最困难的挑战是防止看似合理但有缺陷的输出转化为实际行动。