标签
论文对比了 Jev-1.13.0 等决策模型与大型语言模型在 6G Open RAN RIC 中解释网络意图并生成 A1 策略的性能:LLM 因延迟过高(中位 0.286–2.35 秒)几乎无法满足 1 秒近实时预算,而 Jev 在 99.8% 的调用中达标,且未显示出优于 Jev 的 SLA 改善。
本文提出了一种在实时应用中降低LLM尾部延迟的经济高效方法,通过发送重复请求并选择更快的响应,在生产实验中优于付费优先级层。