任务充分约简:机器信息接口的信源选择

Hugging Face Daily Papers 论文

摘要

该论文提出 Task-Sufficient Contraction(任务充分约简)概念,研究在编码器、码本、码率或失真目标确定之前,如何依据任务预先约简信源,并保证下游问题族的结果不变。论文给出了基于 regret(遗憾)合并状态以及二次损失下投影的精确刻画。

在下游编码器、码本、码率、失真目标或优化器选定之前,一个已声明的任务有时就能先期确定一个可约简的信源。本文研究在何种条件下,这类约简能保持整个下游问题族的结果不变——这一性质被称为 Task-Sufficient Contraction(任务充分约简)。约简后的信源由任务在选定后续工作点之前就加以固定。若约简是精确的,则后续问题可以在该信源上求解,其结果与保留完整信源时完全一致。 对于一组动作集合与损失函数均固定的机器,论文通过这样的方式识别出针对特定消费者(consumer)的信源:仅当两个状态在每个可用动作上的 regret 都相同时,才将它们合并。对于有限动作集,即便约简是在失真目标选定之前就已固定,用这种约简信源替代更丰富的信源仍能完整保持单步 rate-regret(码率-遗憾)曲线。第二个结果给出了仿射可行动作集上二次损失的精确刻画:规范的约简信源是可行动作之间可能出现差异的方向上的投影。在固定能量预算下,这归结为「中心化负载」(centered load),而仅保留最优的注水动作(water-filled action)则过于粗糙。随后,论文借助已有的 Information Bottleneck(信息瓶颈)、语义率失真(semantic rate-distortion)以及目标导向量化(goal-oriented quantization)结果,区分了精确的、依赖于架构的、近似的、失败的以及被修正的约简。该框架为异构机器之间交换「接收任务所需内容」提供了一条途径,而无需先行对齐各自的完整内部表示。
查看原文

相似文章

论组合下任务的脆弱性:语言模型中的隐式预算分配

arXiv cs.CL

论文发现语言模型在组合多个任务时错误率显著上升,且无法完全用独立错误累积解释,而是源于隐式的思考预算分配——组合任务时每个任务获得的推理 token 减少,导致长推理任务更脆弱;通过按脆弱性分组可减少 43% token 用量并保持准确率。

稀疏自编码器可诱导局部几何以缓解灾难性遗忘

arXiv cs.LG

该论文提出 SAGA 方法,将任务边界处训练的稀疏自编码器转换为对表示漂移的低秩局部约束,以缓解持续学习中的灾难性遗忘,并在三个 ViT-B/16 基准上取得最佳的 Class-IL 准确率与最低遗忘率。