@HaiyuWu1:- 论文分享 LeWM 现在可以处理多任务了!怎么做?将正则化损失(例如 SIGReg 和 VISReg)应用于时间…
摘要
一篇论文介绍了 TC-LeWM,将 SIGReg 和 VISReg 等正则化损失应用于时间潜在残差,使 LeWM 能够进行多任务学习,显著提高了 LIBERO 机械臂基准上的成功率。
查看缓存全文
缓存时间: 2026/08/14 03:28
- 论文分享
LeWM 现在可以处理多任务了!
怎么做?对时间潜在残差应用正则化损失(例如 SIGReg 和 VISReg),仅此而已!
这个设计背后的原理相当有见地: 来自多个任务的样本应该共享同一个潜在空间,但不应该被强制到相同的分布。
这篇论文表明,直接调节编码后的时间嵌入会破坏每个任务应保留的分布。
他们在 LIBERO 数据集上跨 10 个任务对比了该方法。结果非常强劲: Raw LeWM — 44.4 TC-LeWM — 73.5 (+29.1) 平均而言,TC-LeWM 显著提高了这些任务上的成功率。
我的想法: 这个方法解决的问题比他们声称的更多。抓取(Gripping)对于 Raw LeWM 来说是一个众所周知的困难规划问题,但 TC-LeWM 在这个机械臂数据集上显著提高了成功率。他们的方法更关注转移状态中的实际差异,从而放大了动作的重要性。
相似文章
DUALVIEW:利用广泛证据和输出特定证据进行基于大语言模型的多输出文本回归
论文提出了DualView,一种参数高效的多输出文本回归方法。该方法利用冻结的大语言模型提取通用表示和输出特定表示,并通过双分支架构联合预测多个数值目标。在五个任务、八个大语言模型上的实验中,该方法优于七个监督学习基线,且可训练参数量减少了82–1842倍。
研究人员发现一种可将大语言模型训练计算量减少15%且不牺牲质量的方法
在 EMNLP 2026 上,T-Tech 研究人员介绍了 LIMe,这是一种轻量级注意力扩展,通过复用较早层的键值缓冲区来缓解表征坍缩。在约 10 亿参数的模型上,与基线 LLaMA 相比,它在保持同等质量的同时,将大语言模型的训练计算量减少了约 15%。
@dair_ai: 新论文:让LLM智能体获得经验,同时改进权重并保持可读性。智能体经验…
JERP 提出了一种方法,让LLM智能体从相同的交互轨迹中联合学习可解释的自然语言规则并更新策略参数,在AlfWorld和WebShop上提升了性能,同时保持了可检查性。
HasMem: 用于长期LLM代理的硬起源自适应软化记忆
论文提出了HasMem,一种用于长期LLM代理的自适应记忆压缩方法,该方法在保持冻结的LLM参数的同时调整记忆宽度,在重建和问答基准测试中展示了改进的性能。
LeWorldModel:从像素出发的稳定端到端联合嵌入预测架构
LeWorldModel 提出了一种稳定的端到端联合嵌入预测架构(JEPA),可直接从像素进行训练,仅需极少超参数,并具有可证明的反坍塌保证。与基础模型相比,它在规划速度上实现了显著提升,同时在机器人操作任务中保持了具有竞争力的性能。