representation-learning

标签

Cards List
#representation-learning

Lotus:通过学习预测来理解时间序列

arXiv cs.LG ↗ · 2026-10-15 缓存

该论文提出预测锚定预训练原则,并将其实例化为 Lotus 模型,通过时序-频谱块表示将时间序列映射到大语言模型的嵌入空间,在多个基准上以极少的可训练参数超越规模大 25–50 倍的模型。

0 人收藏 0 人点赞
#representation-learning

稀疏自编码器中的表示重分配

Hugging Face Daily Papers ↗ · 2026-10-15 缓存

论文提出重分配敏感性分数(RSS),用于识别稀疏自编码器中可复现的特征重分配,并量化其对下游线性读出(如安全读出)失败的贡献,在 27 个预训练 SAE 上取得了较高的 AUROC。

0 人收藏 0 人点赞
#representation-learning

RepForcing:面向自回归视频蒸馏的表示空间初始化

Hugging Face Daily Papers ↗ · 2026-10-14 缓存

论文提出 RepForcing,通过表示空间监督(而非中间教师的轨迹回归)来初始化少步自回归视频生成器,并结合非对称 DMD,在 4 步采样下 VBench 总分从 84.04 提升至 84.66,VisionReward 提升约 59%。

0 人收藏 0 人点赞
#representation-learning

G³VLA:面向视觉-语言-动作模型的几何归纳偏置

Hugging Face Daily Papers ↗ · 2026-10-14 缓存

G³VLA 通过光线嵌入、投影位置编码和跨视角融合,将标定的多相机几何结构注入预训练视觉-语言-动作模型,在不改变动作空间的情况下提升机器人操作的几何一致性与视角鲁棒性。

0 人收藏 0 人点赞
#representation-learning

GlucoPRISM:用于跨队列葡萄糖迁移的协议监督预训练

arXiv cs.LG ↗ · 2026-10-12 缓存

GlucoPRISM 通过协议监督的预训练,将连续血糖监测(CGM)日表征分解为特质、状态和传感器三个频带,在部署时以固定投影移除传感器相关分量,从而在无需目标数据的情况下将十二个跨队列迁移方向的平均 AUROC 从 68.75 提升至 73.57。

0 人收藏 0 人点赞
#representation-learning

用语言训练神经解码器

arXiv cs.AI ↗ · 2026-10-12 缓存

该论文提出了语言监督(Language as Supervision,LaS)方法,通过将神经特征与自然语言类别描述对齐来实现脑机接口解码。在语音解码任务中,该方法相较于传统的类别标签监督基线最多提升了 17.15 个百分点,并支持对未见类别的泛化。

0 人收藏 0 人点赞
#representation-learning

通过表征几何正则化缓解大语言模型自我改进中的能力退化

arXiv cs.AI ↗ · 2026-10-12 缓存

该论文研究了策略内自蒸馏(OPSD)在大语言模型(LLM)自我改进过程中导致已有能力退化的问题,发现这种退化与隐藏表示几何结构恶化(簇内紧凑性和簇间分离度下降)相关,并提出表示几何正则化(RGR)方法,在不改变原有优化流程的情况下有效缓解能力退化。

0 人收藏 0 人点赞
#representation-learning

左即是右?超越屏幕的相机运动理解

Hugging Face Daily Papers ↗ · 2026-10-12 缓存

CameraVLM 通过联合学习屏幕外相机运动与屏幕内光流动态,并配合语言对齐的两阶段训练,显著提升视觉语言模型判断相机运动方向的能力,在多项基准上超越 GPT-6 Astra 与人类受试者。

0 人收藏 0 人点赞
#representation-learning

通用多模态嵌入究竟何种方法真正有效?一项关于对比训练策略的受控研究

Hugging Face Daily Papers ↗ · 2026-10-10 缓存

该论文在统一可控的基准框架下系统评估了多模态嵌入学习中的各类对比训练策略,发现大多数策略相比标准对齐基线仅有边际收益甚至带来负面影响,并提出结合难负样本挖掘、假负样本缓解与难批次构建的协同训练方案,在MMEB上以Qwen2-VL-2B平均提升6.0%。

0 人收藏 0 人点赞
#representation-learning

有损压缩式文本自编码器

arXiv cs.CL ↗ · 2026-10-09 缓存

该论文提出了一种基于 Transformer 的文本自编码器,采用残差式下采样/上采样和离散瓶颈结构,在网络文本上实现了每字节 2.24 比特的压缩率——这是文献中文本自编码器所达到的最高压缩率——同时保持了出色的重建质量和下游任务性能。

0 人收藏 0 人点赞
#representation-learning

电商搜索中用于页面级布局决策的语言模型

arXiv cs.LG ↗ · 2026-10-09 缓存

Walmart Global Tech 的研究人员探讨了在电商搜索页面中使用语言模型离线评估页面级布局决策(例如插入次级产品栈的位置)的方法。结果表明,在预测用户参与度方面,基于表示的方法持续优于直接提示模型做出判断。

0 人收藏 0 人点赞
#representation-learning

# 教会 PPG 「怎么做」而非「是谁」:来自 ECG 的固定效应蒸馏

arXiv cs.LG ↗ · 2026-10-09 缓存

该论文发现 ECG 到 PPG 的跨模态蒸馏中,冻结 ECG 教师目标的 40–59% 是与个体身份相关的 per-recording 均值(trait),学生模型往往记住身份而非生理状态;作者提出 fixed-effects distillation,通过减去每条记录的均值使 trait 精确抵消,使 within-person 状态一致性提升一倍以上,并在两个骨干网络和两个额外数据库上验证了效果。

0 人收藏 0 人点赞
#representation-learning

ReCast:面向基于LLM的智能体系统的归因导向步骤表示学习

arXiv cs.AI ↗ · 2026-10-09 缓存

ReCast 提出一种面向归因的步骤表示学习方法,将冻结 LLM 的隐藏状态转换为更能有效区分根因步骤的表示,并发布了 ReCast-2K 训练数据集,在四个基准上取得了最佳的 Hit@1 成绩。

0 人收藏 0 人点赞
#representation-learning

学习表征以引导像素扩散 Transformer

Hugging Face Daily Papers ↗ · 2026-10-09 缓存

论文提出表示引导(Representation Guidance,RG),在保持纯 Transformer 架构的前提下,通过低维瓶颈形成并主动利用内部表示来指导像素扩散模型的生成。RG-XL/16 在 ImageNet 256x256 上取得 FID 1.55,并可扩展至文本到图像生成(GenEval 0.89,DPG-Bench 87.1)。

0 人收藏 0 人点赞
#representation-learning

迈向金融世界建模

arXiv cs.LG ↗ · 2026-10-08 缓存

论文提出了 Market-1T,一个包含约一万亿条观测数据、以 1 Hz 分辨率记录的美国股票数据集,以及一套严格的评估协议,并对 2008–2025 年不同市场周期下 18 种用于金融表征学习的编码器训练策略进行了大规模研究,为 DINO-WM、V-JEPA 2 和 LeWM 等金融世界模型奠定了基础。

0 人收藏 0 人点赞
#representation-learning

用于模型校准的邻域平滑

arXiv cs.LG ↗ · 2026-10-08 缓存

本文提出 NeSCal,一种基于图的训练期正则化方法,对表示空间中相邻样本的预测分布之间的 Jensen-Shannon 散度进行惩罚。实验表明,该方法能够提升模型校准效果,并可与温度缩放等事后校准方法互补,在图像和表格基准上均得到验证。

0 人收藏 0 人点赞
#representation-learning

HCPN-GCN:基于锥形几何扩展分层原型网络以实现持续图学习

arXiv cs.LG ↗ · 2026-10-08 缓存

本文提出 HCPN-GCN,通过用图卷积网络替换线性特征提取器并引入锥形原型与多样性正则化,将分层原型网络扩展到持续图学习场景,在六个基准上以约 30 倍更少的原子原型实现更高准确率和接近零的遗忘。

0 人收藏 0 人点赞
#representation-learning

LeWAM:基于 JEPA 的端到端世界与动作建模

Hugging Face Daily Papers ↗ · 2026-10-08 缓存

LeWAM 提出一种端到端的 JEPA 控制框架,通过联合训练下一隐状态预测与动作流匹配目标,并对隐状态施加各向异性高斯约束,使单一模型同时支持直接策略执行与高效规划,在接触丰富任务和长程任务上将成功率从 28.6% 提升至 89.7% 和从 10.9% 提升至 46.2%,规划速度提升 32.3 倍。

0 人收藏 0 人点赞
#representation-learning

DSReg:无需重建即可证明地恢复单个世界隐变量

Hugging Face Daily Papers ↗ · 2026-10-07 缓存

DSReg提出通过依赖稀疏性正则化(Structural Diversity条件),在无需重建、解码器或标签的情况下可证明地恢复单个世界隐变量,建立了首个完全可识别的JEPA表示学习方法。

0 人收藏 0 人点赞
#representation-learning

PAIR:弥合视觉-语言-动作模型中感知与动作的鸿沟

Hugging Face Daily Papers ↗ · 2026-10-06 缓存

PAIR 引入显式的「Bridge Tokens」中间表示,将视觉-语言理解与可执行的机器人动作连接起来,通过与动作潜变量对齐并提前注入动作专家,在 LIBERO、CALVIN 及真实操作任务上一致提升性能。

0 人收藏 0 人点赞
← Previous
Next →
← 返回首页

提交意见反馈