ComplianceGate：面向受监管行业推理的分类器门控多层LLM路由

arXiv:2606.31163v1 公告类型：新文 摘要：部署在受监管行业的大语言模型面临两个约束：合规性执行和成本效率。用户查询中的个人身份信息（PII）可能到达模型端点，而系统尚未确定这些数据是否应离开其管辖边界。通过单一大型模型服务所有查询会消耗全部GPU容量，无论查询复杂度如何，并且不提供地理路由机制。混合专家架构并未解决此问题——路由发生在数据已到达端点后的模型内部专家层之间，且无论查询复杂度，所有专家都加载在内存中。我们提出了一种分类器门控路由架构，从设计上强制执行合规性。一个经过训练的编码器分类器位于任何解码器推理之前，评估每个查询的复杂度和数据敏感性，然后将其路由到适当地理位置中适当大小的密集模型。包含PII的查询在开始任何LLM计算之前路由到本地端点，从而使数据驻留违规在结构上不可能发生。简单查询以较低成本到达小型快速模型。我们在600个查询上的评估显示，中位延迟降低39%，根据查询分布节省33-52%的成本，生成吞吐量为122-200 tokens/秒，而基线为50-64 tokens/秒。编码器分类器在7ms推理开销下实现了99.2%的准确率和近乎完美的PII召回率，为设计合规的LLM部署建立了预推理分类的实用路径。

# ComplianceGate：分类器门控的多层级LLM路由，用于受监管行业的推理
来源：https://arxiv.org/abs/2606.31163
文献工具

## 文献与引用工具

文献资源浏览器（切换）

代码、数据与媒体

## 本文相关的代码、数据与媒体

演示

## 演示

相关论文

## 推荐与搜索工具

IArxiv推荐工具（切换）

关于arXivLabs

## arXivLabs：与社区协作者共同推进的实验项目

arXivLabs是一个框架，允许协作者直接在我们的网站上开发并分享新的arXiv功能。

与arXivLabs合作的个人和组织都已接受并认同我们对开放、社区、卓越以及用户数据隐私的价值观。arXiv坚守这些价值观，仅与遵循该理念的伙伴合作。

有没有能为arXiv社区增添价值的项目想法？**进一步了解arXivLabs**（https://info.arxiv.org/labs/index.html）。