关于向LLMs发送敏感数据的隐私中间件的反馈

我目前正在开发一个概念，即一个位于应用程序和外部LLMs之间的隐私中间件。目标是防止敏感或个人身份信息被发送给模型，同时仍允许LLMs使用相关上下文。该中间件将在本地检测敏感数据，并在请求发送到LLMs之前用一致的占位符或匿名化值替换它们。例如：原始数据：'向Max Mustermann发送邮件到[email protected]。' 发送到LLMs：'向<PERSON_1>发送邮件到<EMAIL_1>。' 然后LLMs将使用匿名化数据生成响应。一旦响应返回，中间件将在本地用原始值替换占位符：LLMs响应：'你好<PERSON_1>，请通过<EMAIL_1>联系我们。' 最终响应：'你好Max Mustermann，请通过[email protected]联系我们。' 占位符与原始值的映射将保留在本地，永远不会发送给LLMs。这将创建一个额外的隐私层，可以潜在地添加到现有应用程序中，而无需对底层的LLMs集成进行重大更改。可能的用例包括姓名、电子邮件地址、电话号码、客户ID、订单号、医疗信息、财务数据、公司内部术语和敏感数据库内容。中间件还可以支持结构化格式，如JSON和XML，以及文档和较长的文本段落。简单的基于正则表达式的解决方案可能不够，因为许多类型的敏感信息只能通过上下文识别。因此，我正在考虑结合可配置规则、模式匹配和本地NER或语言模型。另一个重要方面是在多个消息中保持一致的占位符，以便LLMs能够理解<PERSON_1>始终在对话中指代同一个人。本地映射需要安全处理，可能使用加密和严格的访问控制系统。系统还应该在恢复原始值之前验证LLMs的响应，因为占位符可能被模型更改、删除或误解。根据用例，用保持格式的合成值替换数据而不是通用占位符可能更有意义。我希望得到关于这种方法是否实用以及我可能忽略的潜在弱点的反馈。特别是，我很好奇如何可靠地检测敏感数据、占位符映射应如何管理，以及是否存在类似的开源项目或现有解决方案已经解决了这个问题。我将从一个简单的文本文件开始，其中我会写下敏感数据及其对应的标签，以便从该文件本地检索。我欢迎任何技术反馈、改进建议架构的建议，或关于隐私网关、LLMs集成、匿名化和数据防泄漏的经验分享。