团队负责人让我用AI改造合同审核流程,我深入后发现了这个
摘要
一位开发者发现,强制推行的AI合同审核失败,因为人工流程依赖员工的非正式关系和背景,导致升级质量差;解决方案是将人保留在流程中作为解释环节。
不过这并非我的主意。今年第一季度,上级下达指令,我们要在合同审核流程中加入AI,并负责实施。这不是试点,也不是实验,而是决策。纸面上的流程看起来很直接:合同进来,按照条款清单审核,标记的问题上传给法务团队。我之前做过更复杂的自动化项目。大约一周内完成了范围界定。负责合同审核三年的人,实际上已经建立了一份第二份工作——后来我才发现,就像在正式工作内部又做了一份工作。她不仅仅是检查条款,她还是供应商和法务团队之间的关系层。她知道哪些标记的问题真正值得升级,哪些只是某个供应商的噪音,等等。但这些都没有记录在任何流程文档中。我是在AI代理开始生成升级报告时才发现问题的,因为法务团队一直在驳回。不是错误,只是缺少了人类会添加的那种理解。数量上去了,但升级质量下降了。几周后,法务团队开始绕开这个流程。他们直接问她,她用老办法处理。技术栈反而是最轻松的部分。我花了一周处理文档摄取,合同以各种格式的PDF进来。尝试了Docling和LlamaParse,最后选定了能处理更混乱供应商模板的方案,提取逻辑或OCR都很干净。模型正确提取了相关条款,这部分效果不错。我低估的是交接层——AI代理产生了输出,但无法携带使这些输出可用的上下文。我现在正在测试的解决方案是让她留在流程中作为解释环节:代理标记和提取,她添加一行上下文后再提交给法务团队。比最初设想的慢,但确实被使用了。有一件事让我措手不及:工作流程内部有一种从外部看不到的社交架构。AI指令假设流程就是流程,但事实并非如此。运行流程的人本身就是流程。有人在强制推行(而非团队自愿选择)的AI项目中遇到过类似情况吗?感觉采用曲线完全不同,而且很少看到有人讨论这个。
相似文章
如果人类必须逐一检查 AI 自动化的每项输出,那你就没有实现自动化,只是把工作挪了个地方。
一位开发者反思了自己的 AI 自动化项目:准确率达到 95% 仍需人工全面审查,于是重新设计为将不确定的输出送入审查队列,整体上节省了时间。
使用AI进行代码审查六个月教会我:“review this”是一个伪装成提示问题的QA问题
一位开发者回顾了六个月来使用AI进行代码审查的经历,发现模糊的提示会产生看似合理但毫无用处的反馈。解决办法是将审查视为一个带门控的流水线,包含明确的上下文、分范围的检查、验证清单和对抗性自我批评。
用AI简化合同审查
# 用AI简化合同审查 来源:[https://openai.com/index/ironclad/](https://openai.com/index/ironclad/) Ironclad使用AI的目标始终是帮助人们做得更多,而不是用技术取代他们。GoGwilt回忆起他的法律工程团队在看到OpenAI的模型能为合同工作做什么时的初始兴奋。他说:“团队第一次感叹,‘哇,这产生的作品达到了第一年律师助理的水平。’”引擎
AI正在吞噬AI工程循环(5分钟阅读)
文章讨论了AI工程循环如何能够完全自动化,但认为将整个循环交给AI会产生'agent slop'(智能体垃圾),因为评估不完善。它建议自动执行某些步骤,同时保留人类判断以处理细微差别。
人在回路中正沦为企业作秀。
Anthropic 警告称,随着 AI 生成代码的速度超过人类审查速度,人工审查正成为瓶颈,这引发了对自主性和安全性的担忧。