论文页面 - 用 Jev 决策模型替代大型语言模型，实现低延迟边缘服务编排

来源：https://huggingface.co/papers/2609.22753

摘要

自然语言形式的服务请求可能在执行开始之前就需要一次语言模型的决策，这会消耗请求延迟预算的一部分。我们将 Jev 的面向决策的应用程序接口（API）集成到边缘服务编排中，在保持服务完成质量的同时降低这一开销。该集成会提取四到八个有界意图字段，并应用共享的校验器、准入策略与调度器，同时在整个请求时间线上计入决策等待时间。我们在 8,280 条经过验证的请求以及一条实时准入路径上，对比了 Jev、两个自托管决策模型和三个托管大型语言模型（LLM）的表现，其中既有建模执行，也有真实的光学字符识别服务。在 33 种测试条件下，相对于最快的 LLM，Jev 将决策延迟中位数降低了 22.7%~64.5%。该延迟几乎不随输入规模、契约宽度或目录大小变化。在四字段契约上，Jev 的 API 每次正确决策的费用低 59.7%~80.9%，代价仅是几个完全匹配点的损失，而宽契约则标定了这种替代方式的边界。在每次请求都附带服务目录的情况下，Jev 对未见服务的命名准确率与已知服务持平。在实时准入路径上，在负载高到 LLM 表现跌破 0.1 的条件下，Jev 仍能保证 0.91~0.95 的请求完全准确且按时完成。由于为解释器缓存重复描述可获得几乎相同的延迟，Jev 的收益体现在新鲜决策上。这些结果支持在有界契约的延迟受限准入场景中，用决策模型替代语言模型。

查看 arXiv 页面 (https://arxiv.org/abs/2609.22753)　查看 PDF (https://arxiv.org/pdf/2609.22753)　GitHub 0 (https://github.com/OniReimu/Edge-Computing-JEV)　加入收藏集 (https://huggingface.co/login?next=%2Fpapers%2F2609.22753)

在你的 agent 中获取本论文：

hf papers read 2609.22753

还没有最新版 CLI？curl -LsSf https://hf.co/cli/install.sh | bash

引用本论文的模型 0

暂无模型链接本论文

在模型 README.md 中引用 arxiv.org/abs/2609.22753，即可从本页面链接到它。

引用本论文的数据集 1

OniReimu/Edge-Computing-JEV　查看器• 1 天前更新 • 11.5k • 321 (https://huggingface.co/datasets/OniReimu/Edge-Computing-JEV)

引用本论文的 Space 0

暂无 Space 链接本论文

在 Space README.md 中引用 arxiv.org/abs/2609.22753，即可从本页面链接到它。

包含本论文的收藏集 0

暂无收藏集包含本论文

将本论文加入收藏集 (https://huggingface.co/new-collection)，即可从本页面链接到它。