设计面向公共卫生信息访问的安全约束LLM系统

# 设计面向公共卫生信息获取的安全约束型LLM系统

来源：https://arxiv.org/html/2607.13038  
(2026)

###### 摘要

我们介绍了一种面向公共卫生信息获取的安全约束型大语言模型(LLM)系统的设计与实现，重点关注母婴健康(MCH)资源导航。虽然基于LLM的系统为信息检索提供了灵活、自然的交互界面，但它们在医疗场景中的部署会带来安全、信任和不可控生成方面的风险。本研究探索了在安全关键环境中约束LLM行为的实用设计模式。我们提出了一种多层次架构，集成了领域受限的检索增强生成(RAG)、严格边界约束以防止提供医疗建议、匿名多用户会话管理，以及用于监控和合规的全面审计日志。设计的一个关键方面是受控数据管道，该管道将所有回答锚定在精心策划的公共卫生资源中，避免依赖模型预训练的医学知识。我们在真实的公共卫生环境中实施该系统，并对范围内的查询、范围外的查询以及紧急查询进行了基于场景的验证。结果显示，安全约束得到持续执行，资源锚定可靠，系统性能稳定，平均响应时间为5.3秒。除了具体应用，我们还讨论了在平衡安全性、易用性和系统灵活性方面的设计权衡和经验教训。我们的研究结果为在医疗保健及其他需要严格信息边界和问责制的领域部署基于LLM的系统提供了实用指导。

---

## 1. 引言

### 1.1 背景与动机

母婴健康(MCH)仍然是美国公共卫生面临的关键挑战，在信息获取和医疗服务方面存在持续的不平等现象。南卡罗来纳州尤其面临严峻挑战，2021年妊娠相关死亡率达到每10万例活产47.2例，比上一年增加了46%，且对黑人女性的影响尤为严重(南卡罗来纳州卫生部，2022)。美国南部地区更广泛的结构性因素，包括医疗服务提供者短缺、农村医院关闭和系统性不平等，进一步限制了获得及时、可靠健康资源的途径(Zertuche 和 Spelke, 2021)。

尽管政府机构、医疗服务提供者和非营利组织提供了广泛的母婴健康资源，但这些资源通常分散在网站和文档中，使家庭难以导航。传统的基于目录的系统要求用户构建查询并解释复杂的信息结构，这在紧急或压力大的情况下尤其具有挑战性。

大语言模型(LLM)的最新进展使得对话式界面成为可能，从而提供更自然的信息获取方式。在医疗保健领域，这类系统已被探索用于患者支持、教育和行政辅助(Wilson 和 Marasoiu, 2022)。然而，在公共卫生环境中部署基于LLM的系统会带来与安全、信任和信息质量相关的重大挑战。LLM可能生成流畅但潜在不正确或误导性的响应，引发对幻觉、过时信息和不恰当医疗指导的担忧(Meyrowitsch 等，2023)。这些风险在医疗保健环境中尤为严重，因为错误信息可能导致有害决策。

### 1.2 挑战

在本研究中，我们聚焦于设计面向公共卫生信息获取的基于LLM的系统时所面临的三个关键挑战：

**安全与责任。** 医疗应用需要严格的防护措施，以防止系统提供医疗建议、诊断或治疗建议。先前的研究表明，自动化系统可能产生不安全或不准确的分诊建议(Fraser 等，2022；Gilbert 等，2020)，临床医生对患者滥用AI生成信息表示担忧(Palanica 等，2019)。因此，确保基于LLM的系统在明确定义的边界内运行至关重要。

**信任与可信度。** 当健康信息来自公认机构时，用户更可能信任这些信息(Aoki, 2020；Adjekum 等，2018)。然而，许多对话式AI系统缺乏明确的机构基础，使用户难以评估所提供信息的可靠性。

**信息质量与控制。** 虽然LLM可以从多种知识源综合生成响应，但它们也可能引入幻觉或不可验证的内容。在公共卫生环境中，确保响应基于经过审查的最新资源而非模型预训练知识生成至关重要。

### 1.3 方法与贡献

为了应对这些挑战，我们介绍了一种面向母婴健康资源导航的安全约束型基于LLM的系统的设计与实现。该系统旨在提供对精心策划的公共卫生资源的对话式访问，同时严格执行医疗内容边界并维护用户隐私。

我们的方法以多层次架构为核心，结合了领域受限的检索增强生成(RAG)、明确的安全执行机制和全面的监控基础设施。该系统不依赖于不受约束的语言生成，而是将响应基于精心策划的知识库，并强制执行来源归属，确保所有输出都可追溯到权威资源。

本研究的主要贡献包括：

- • 一种面向基于LLM的公共卫生系统的安全约束架构，集成了输入过滤、领域验证、响应验证和审计日志记录。
- • 一种用于领域受限RAG的受控数据管道，将响应限制在策划资源内，减少对模型预训练医学知识的依赖。
- • 一种保护隐私的多用户会话框架，支持匿名交互，不收集个人身份信息。
- • 一种端到端的系统实施和部署框架，包括支持评估和问责的监控和审计日志基础设施。
- • 基于场景的验证，展示了安全约束的一致执行以及跨不同查询类型的可靠系统性能。

除了具体系统之外，本研究还提供了关于在安全关键领域部署基于LLM的系统时涉及的设计权衡的实用见解。这些见解适用于更广泛的需要严格信息边界、透明度和问责制的应用类别。

本文其余部分组织如下：第2节回顾了医疗保健聊天机器人和检索增强生成的相关工作。第3节介绍了系统架构。第4节描述了实施细节。第5节展示了验证和测试结果。第6节讨论了影响和局限性，第7节得出结论并展望未来方向。

## 2. 相关工作

### 2.1 医疗保健对话系统

对话型AI系统越来越广泛地应用于医疗保健领域，用于症状检查、患者教育和心理健康支持等任务(Laymouna 等，2024；Wilson 和 Marasoiu, 2022)。商业平台，包括Babylon Health和Ada Health，通过结构化或AI驱动的交互提供自动分诊和诊断指导。虽然这些系统展示了对话界面的潜力，但先前的评估指出了重要局限性。研究报告了诊断准确性的差异以及不安全或不恰当建议的实例，引发了对可靠性和临床风险的担忧(Fraser 等，2022；Gilbert 等，2020)。

最近的研究探索了特定领域的对话系统，包括在孕产妇和围产期健康方面的应用。例如，"Rosie"聊天机器人在产后支持环境中展示了可行性和用户参与度(Nguyen 等，2024)，系统综述报告了用户满意度和行为改变方面的积极结果(Mascarenhas 等，2022)。然而，许多现有系统要么提供诊断式交互，要么对生成内容的约束有限。这在确保安全性方面造成了挑战，特别是在错误或误解信息可能产生重大后果的环境中。

相比之下，我们的工作侧重于资源导航而非诊断，并强调严格边界约束以防止生成医疗建议。这种定位与新兴观点一致，即医疗保健中的对话系统应补充而非替代临床决策(Palanica 等，2019)。

### 2.2 医疗保健中的检索增强生成

检索增强生成(RAG)已成为一种广泛应用的方法，通过将参数化模型与外部知识源相结合来提高语言模型输出的事实基础(Lewis 等，2020)。在医疗保健应用中，与独立的语言模型相比，RAG已证明提高了准确性并减少了幻觉。例如，最近的研究表明，在基于精心策划的数据集进行医疗问题解答和事实核查任务时，性能有了显著提升(Li 等，2025；Shi 等，2024)。

尽管取得了这些进展，大多数基于RAG的系统旨在提高性能而非执行严格的信息边界。检索到的文档通常用于指导生成，但模型可能仍然引入未经支持或综合生成的内容。在公共卫生等安全关键领域，这种缺乏严格控制的情况可能带来问题。

我们的工作在RAG的基础上，采用了一种领域约束方法，即明确将响应限制在精心策划的资源内，并强制要求提供来源归属。这种设计优先考虑可控性和透明度而非生成灵活性，反映了公共卫生信息系统的要求。

### 2.3 医疗保健AI中的安全与治理

确保医疗保健AI系统的安全性和问责制一直是一个活跃的研究领域，特别是在临床决策支持和监管框架方面。先前的工作强调了验证、监控和故障安全机制在缓解与自动化决策相关风险方面的重要性(美国食品药品监督管理局，2023)。对大语言模型的担忧包括生成看似合理但错误的信息，以及在自我诊断环境中被滥用的可能性(Meyrowitsch 等，2023；Nori 等，2023)。

来自监管和研究社区的指南强调了安全部署的几个关键原则，包括明确的范围定义、信息来源的透明度以及持续的后部署监控(美国食品药品监督管理局，2023；Tighe 等，2024)。然而，这些高层次建议与在实践中有操作化的具体系统设计之间仍然存在差距。

本研究通过提供一种端到端的系统架构来弥补这一差距，该架构将安全机制直接集成到LLM交互管道中，包括输入过滤、领域验证、响应验证和审计日志记录。我们的方法展示了如何在系统层面为公共卫生应用实施安全与治理考虑。

### 2.4 总结

先前的工作突显了基于LLM的系统在医疗保健中的潜力和风险。虽然对话界面和RAG技术提高了可访问性和基础性，但在确保安全性、信任和可控性方面仍然存在挑战。现有方法通常优先考虑性能或用户参与度，对严格边界约束和系统级治理的重视较少。

在此背景下，我们的工作专注于设计一种安全约束型LLM系统，优先考虑受控信息访问、透明度和问责制，以满足公共卫生环境中部署的实际要求。

## 3. 系统架构与设计

该系统旨在提供对母婴健康(MCH)资源的对话式访问，同时执行严格的安全和信息约束。我们的设计以四项原则为指导：(1) 安全至上操作，采用分层机制防止不恰当的医疗指导；(2) 领域受限的信息访问，确保响应基于精心策划的资源；(3) 保护隐私的交互，支持匿名使用，不收集个人数据；(4) 系统透明度，通过日志记录和可追溯性提供支持。

### 3.1 系统概述

如图1所示，该系统采用三层架构：

**系统架构**

图1. 高层系统架构。

**用户界面层。** 轻量级基于Web的界面为用户提供对话式入口点。该界面设计为兼容移动设备和桌面设备，并以明确来源归属的方式呈现响应。

**应用层。** Node.js/Express后端管理请求处理、会话跟踪、安全执行和日志记录。该层协调用户与AI服务之间的所有交互，作为执行系统约束的控制点。

**AI服务层。** 系统集成了大语言模型(GPT-4o)与基于向量的检索系统，以实现检索增强生成(RAG)。该层负责生成基于精心策划知识库的响应。

这种模块化设计将用户交互、控制逻辑和模型推理分离，使得安全与治理机制可以在独立于底层模型的情况下实施。