标签
该论文表明,仅通过对激活值进行广义普罗克鲁斯特分析,就能将五个参数冻结、独立训练的模型(四个 Transformer 模型和一个状态空间模型)对齐到共享的表征空间,在最终层上实现 0.91–0.93 的留出集检索准确率;同时,论文也报告了一项负面结果:在这些模型之间进行路由选择,表现并不优于始终使用最强的模型。
本文提出一种利用对齐的KV缓存变换在异构多智能体系统间进行密集潜在通信的方法,相比基于文本的方法,性能更优且计算成本更低。