TONIC：面向任务无线系统的以令牌为中心的语义通信

# TONIC：面向任务无线系统的以令牌为中心的语义通信
来源：https://arxiv.org/html/2605.21553
Sige Liu 和 Kezhi Wang
本工作部分由Eureka CELTIC\-NEXT 5G4PHealth/Innovate UK项目（10093679）、UKRI下的Horizon Europe资助担保（EP/Y03743X/1，作为欧盟委员会MSCA HarmonicAI项目[101131117]的一部分）以及皇家学会项目（IEC\-NSFC\-211264）支持。K. Wang感谢皇家学会工业研究员计划（IF\\R2\\23200104）的部分支持。（通信作者：Kezhi Wang）。S. Liu和K. Wang隶属于伦敦布鲁内尔大学计算机科学系，邮编UB8 3PH（电子邮件：[email protected]；[email protected]）。

###### 摘要

令牌正成为基础模型表示和处理信息以进行理解和推理的基本单元。然而，传统的以比特保真度为中心的无线通信，在可靠传输的内容与下游模型实际使用的内容之间存在错位。这种错位要求通信设计直接考虑令牌级的任务相关性和下游模型需求，而不是将传输的所有比特视为同等重要。本文提出TONIC，一种面向任务无线系统的以令牌为中心的语义通信框架。发射器将每个源样本转换为令牌序列，估计令牌级任务相关性，并在固定信道使用预算下通过基于效用度的非等差错保护来分配保护强度。在接收端，利用令牌级置信度对不可靠决策进行门控，在基于Transformer的补全模型恢复被掩码的令牌以进行最终任务推理之前，将有害的替换转化为可恢复的擦除。我们的框架在模块化和可解释的架构中结合了发射端语义感知保护和接收端置信度感知门控，而非仅仅依赖完全黑盒的端到端学习。我们进一步为接收端门控规则建立了基于效用度的贝叶斯风险解释，并研究了其与非等保护及补全的交互。在图像分类上的实验结果表明，在AWGN、瑞利和莱斯信道上，在匹配的通信预算下，TONIC始终优于基于分离的方案、像素域DeepJSCC基线以及令牌域基线。

## I. 引言

令牌正成为基础模型表示和处理信息的基本接口[21 (https://arxiv.org/html/2605.21553#bib.bib23), 1 (https://arxiv.org/html/2605.21553#bib.bib11)]。在视觉和多模态系统中，原始观测越来越多地被映射为令牌序列或令牌网格，直接由下游模型用于理解、推理和生成[5 (https://arxiv.org/html/2605.21553#bib.bib24), 20 (https://arxiv.org/html/2605.21553#bib.bib25), 6 (https://arxiv.org/html/2605.21553#bib.bib26)]。对于无线系统而言，这意味着通信对象不能再仅仅视为比特流或重构信号。相反，核心问题是下游模型所需的语义令牌能否可靠且高效地传输[22 (https://arxiv.org/html/2605.21553#bib.bib12), 14 (https://arxiv.org/html/2605.21553#bib.bib13)]。图1 (https://arxiv.org/html/2605.21553#S1.F1) 展示了传统以比特为中心的通信与本文提出的以令牌为中心的通信之间的对比。

传统无线通信仍然以比特级保真度为中心[16 (https://arxiv.org/html/2605.21553#bib.bib1)]。然而，一旦接收端最终是基于令牌而非重构的像素或比特流进行操作，这种设计就越来越与下游处理脱节[7 (https://arxiv.org/html/2605.21553#bib.bib2)]。不同令牌位置对最终任务的贡献可能差异巨大，因此均匀保护所有传输比特并不一定能保留那些对推理最重要的令牌位置[27 (https://arxiv.org/html/2605.21553#bib.bib3)]。此外，在基于令牌的系统中，当接收端具备强大的补全先验时，错误的替换比显式擦除的危害要大得多[4 (https://arxiv.org/html/2605.21553#bib.bib22), 15 (https://arxiv.org/html/2605.21553#bib.bib27), 8 (https://arxiv.org/html/2605.21553#bib.bib19)]。这些观察促使我们设计一种以令牌为中心的通信方案，使其与下游模型接口对齐，而不仅仅是优化比特保真度。

这种转变既带来了机遇也带来了挑战。一方面，令牌化表示提供了一种结构化的语义接口，天然与现代生成模型和推理模型兼容[6 (https://arxiv.org/html/2605.21553#bib.bib26), 4 (https://arxiv.org/html/2605.21553#bib.bib22)]。另一方面，一个实用的以令牌为中心的无线系统需要解决若干耦合的设计问题：如何量化令牌级任务相关性？如何在固定信道使用预算下分配非等保护？如何决定解码出的令牌是应该被信任还是被擦除？如何利用补全先验而又不将通信管道退化为完全黑盒的端到端训练系统？解决这些问题对于以令牌为中心的通信既有效又可实际部署至关重要。

最近的工作已经开始从几个角度朝着这个方向迈进。在语义和面向任务的通信中，早期研究表明通信设计应该与意义或下游效用对齐，而不是精确的符号恢复[25 (https://arxiv.org/html/2605.21553#bib.bib38), 17 (https://arxiv.org/html/2605.21553#bib.bib4)]。相关工作进一步考虑了面向语音的语义通信[24 (https://arxiv.org/html/2605.21553#bib.bib39)]、多模态面向任务的语义通信[26 (https://arxiv.org/html/2605.21553#bib.bib40)]以及可解释语义通信[12 (https://arxiv.org/html/2605.21553#bib.bib5)]。与此同时，无线图像传输已经证明了在带宽和信道不确定性下联合源信道设计的重要性，从DeepJSCC[3 (https://arxiv.org/html/2605.21553#bib.bib7)]开始，扩展到带宽自适应[10 (https://arxiv.org/html/2605.21553#bib.bib8)]和星座约束变体[19 (https://arxiv.org/html/2605.21553#bib.bib31)]，最近又通过OFDM自适应[30 (https://arxiv.org/html/2605.21553#bib.bib41)]和基于Transformer的架构[29 (https://arxiv.org/html/2605.21553#bib.bib10)]取得进展。同时，以令牌为中心的通信在大模型时代作为一个新方向出现，包括基于信息瓶颈的令牌通信[22 (https://arxiv.org/html/2605.21553#bib.bib12)]、令牌域多址接入[14 (https://arxiv.org/html/2605.21553#bib.bib13)]、令牌感知语义信道编码与调制[31 (https://arxiv.org/html/2605.21553#bib.bib14)]，以及选择性或模型辅助的令牌传输[13 (https://arxiv.org/html/2605.21553#bib.bib16), 18 (https://arxiv.org/html/2605.21553#bib.bib17)]。尽管如此，现有方法仍然存在三个重要空白：它们没有明确地将令牌级任务相关性整合到发射端的保护分配中（在固定通信预算下）；它们没有清晰地区分接收端是接受一个不可靠令牌还是擦除它；它们也没有提供一个统一的接收端规则，将令牌效用、解码置信度和补全辅助恢复明确地耦合到一个连贯的端到端框架中。

参见图注 (a) 传统以比特为中心的通信
参见图注 (b) 本文提出的以令牌为中心的TONIC框架
图1：传统以比特为中心的通信与本文提出的以令牌为中心的TONIC框架对比。

为了解决这些空白，我们提出了TONIC，一种面向任务无线系统的以令牌为中心的语义通信框架。在本文考虑的图像传输场景中，发射器首先将每个输入图像转换为语义令牌序列，估计令牌级任务相关性，并在固定信道使用预算下通过基于效用度的非等差错保护来分配保护强度。在接收端，从软解码中提取的令牌级置信度用于对不可靠决策进行门控，在基于Transformer的补全模型恢复被掩码令牌以进行最终任务推理之前，将有害的替换转化为可恢复的擦除。通过这种方式，TONIC共同决定哪些语义令牌应该获得更强的保护，以及接收端如何处理残留的不确定性，同时保持模块化和可解释的架构。本文的主要贡献总结如下：

- • 我们开发了一个面向任务无线系统的以令牌为中心的语义通信框架，其中通信对象是直接由下游模型消费的离散视觉令牌序列，而不是重构的比特流或像素域信号。
- • 我们提出了一种发射端语义感知保护机制，该机制结合了令牌效用估计、效用分组和预算约束的非等差错保护，使通信资源能够集中在任务关键的令牌位置上。
- • 我们开发了一种接收端置信度门控策略，将有害的低置信度替换转化为可恢复的擦除，并建立了基于效用度的贝叶斯风险解释，将令牌效用、解码置信度和补全辅助恢复联系起来。
- • 我们将生成式令牌补全集成到通信循环中，并通过实验证明，在AWGN、瑞利和莱斯信道上，在匹配的通信预算下，TONIC始终优于基于分离的传输、像素域DeepJSCC和令牌域基线。

本文的其余部分组织如下。第二节回顾了关于语义和面向任务通信、无线图像传输、以令牌为中心的通信以及生成式恢复的最相关工作。第三节介绍了系统模型和高级问题表述。第四节介绍了TONIC框架。第五节介绍了TONIC的设计与分析，包括效用估计与分组、预算约束保护、置信度感知门控以及离线阈值校准。第六节介绍了实验设置和数值结果。第七节总结全文。

## II. 相关工作

本节回顾与本文最相关的四个研究方向：语义与面向任务通信、学习型无线图像传输、以令牌为中心的通信以及生成式恢复在语义通信中的应用。这些方向共同为理解为何应以统一框架研究令牌感知保护、接收端接受或擦除决策以及补全辅助恢复提供了直接背景。

### II-A 语义与面向任务通信

语义与面向任务通信超越了传统的符号恢复目标，将通信系统设计与意义或下游效用对齐。早期的语义通信系统如DeepSC通过优化句子级意义恢复，在文本传输中展示了这一原理[25 (https://arxiv.org/html/2605.21553#bib.bib38)]。类似的思想后来扩展到面向语音的语义通信[24 (https://arxiv.org/html/2605.21553#bib.bib39)]以及面向视觉问答的多模态面向任务通信[26 (https://arxiv.org/html/2605.21553#bib.bib40)]。文献[17 (https://arxiv.org/html/2605.21553#bib.bib4)]开发了一种用于边缘推理的更通用的面向任务表述，其中通信明确地与下游推理目标相关联。文献[12 (https://arxiv.org/html/2605.21553#bib.bib5)]进一步将可解释性引入这一方向。这些研究确立了任务感知通信的重要性，但并未直接解决本文考虑的以令牌为中心的设置。具体而言，它们没有明确地将离散语义令牌作为通信对象，也没有解决在固定符号预算下如何将令牌级任务相关性转化为非等保护以及接收端令牌接受或擦除决策。

### II-B 无线图像传输

与此同时，学习型无线图像传输通过深度联合源信道编码取得了快速进展。DeepJSCC首次证明，端到端图像传输可以在带宽受限和噪声无线环境中优于基于分离的方案[3 (https://arxiv.org/html/2605.21553#bib.bib7)]。带宽自适应的JSCC随后展示了适应不同信道资源的能力[10 (https://arxiv.org/html/2605.21553#bib.bib8)]。数字或实际约束变体如DeepJSCC-Q将星座约束引入学习型JSCC[19 (https://arxiv.org/html/2605.21553#bib.bib31)]，而OFDM自适应设计引入了多径衰落下的信道自适应传输[30 (https://arxiv.org/html/2605.21553#bib.bib41)]。最近，基于Transformer的架构如SwinJSCC改善了表示能力和信道适应能力[29 (https://arxiv.org/html/2605.21553#bib.bib10)]。其他近期的数字或协作深度JSCC系统如D2-JSCC和Process-and-Forward进一步反映了学习型通信管道向更实用和结构化方向发展的趋势[9 (https://arxiv.org/html/2605.21553#bib.bib42), 2 (https://arxiv.org/html/2605.21553#bib.bib43)]。尽管这些方法具有实证性能，但它们仍然主要是以像素或特征为中心的。通信对象通常是图像、连续潜在张量或语义特征表示，设计目标通常是重建保真度、感知质量或连续特征保持。相比之下，TONIC直接通信语义令牌，并在固定通信预算下显式控制令牌级保护。因此，本文不是另一种图像重建架构，而是一个在图像分类场景中实例化和评估的以令牌为中心的通信框架。

### II-C 以令牌为中心的通信

基础模型的兴起推动了从以比特为中心的语义向以令牌为中心的通信的转变。文献[1 (https://arxiv.org/html/2605.21553#bib.bib11)]明确倡导了以令牌为中心的语义信息视角。UniToCom从信息瓶颈角度研究了令牌通信[22 (https://arxiv.org/html/2605.21553#bib.bib12)]，而ToDMA将以令牌为中心的设计扩展到多址接入场景[14 (https://arxiv.org/html/2605.21553#bib.bib13)]。令牌感知的语义信道编码与调制在文献[31 (https://arxiv.org/html/2605.21553#bib.bib14)]中被研究，表明令牌表示可以集成到实际的数字通信管道中。其他近期研究从不同角度探索了相关的令牌级机制。文献[11 (https://arxiv.org/html/2605.21553#bib.bib15)]考虑了注意力引导的语义传输。文献[13 (https://arxiv.org/html/2605.21553#bib.bib16)]研究了选择性令牌多模态语义通信。文献[18 (https://arxiv.org/html/2605.21553#bib.bib17)]研究了基于混合语言模型的令牌传递。