一个AI文档生成器为客户节省了数小时，直到它悄然添加了一个条款

我为小团队构建自动化工具。最近一个更常见的需求是AI文档生成器。输入一些信息，就能获得完成的合同、SOW或入职文档。听起来很简单。今年早些时候，我为一个小机构构建了一个，他们反复重写相同的工作说明书。设置很简单。一个信息表单将细节输入到LLM中，它填充模板，输出格式化的文档。在演示中看起来很棒。它写的工作说明书比创始人写的更干净，更快。然后大约三周后，他们的一位客户指出一个没人同意过的付款条款。模型添加了一个net-30条款，因为它看到的大多数工作说明书可能都有一个。它不在模板中。它不在信息表单中。它只是认为一个专业的工作说明书应该有那行，所以就写进去了。没人发现，因为文档读起来完美无缺。这就是让我害怕的部分。仪表盘中的错误数字看起来不对。合同中伪造的条款读起来完全像真的。输出流畅正是问题所在。我的改变：LLM不再写法律或数字部分。这些直接从信息表单插入，无需生成。模型只处理描述性部分的措辞，即便如此，我也运行一个与模板的差异比对，所以任何它添加的、无法追溯到输入的句子在文档发出前都会被标记。许多构建文档生成器的人离这种情况只差一个自信的幻觉。如果文档包含义务、金钱或日期，模型应该组装，而不是创作。其他人如何处理？你是让模型写整个文档，还是隔离那些真正重要的部分？