representation-learning

标签

Cards List
#representation-learning

预测闭包:JEPA 特征选择的集合层面刻画

arXiv cs.LG ↗ · 2026-10-21 缓存

该论文提出了"预测闭包"(predictive closure)这一集合层面的刻画方式,用于描述 JEPA 如何选择需要编码的特征。研究显示,特征的保留取决于特征集合内部各特征之间的关系,而非单个特征的可预测性。实验结果表明,当不可预测的特征有助于预测其他特征时,它们同样会被保留下来。

0 人收藏 0 人点赞
#representation-learning

利用短期运动表征揭示动物个体身份与学习进程

arXiv cs.LG ↗ · 2026-10-21 缓存

本文提出了一种自监督表征学习框架,以时间邻近性作为监督信号,从动物短期运动轨迹中学习紧凑表征,结果表明这些表征能够在自由活动的大鼠中揭示个体身份与学习进程。

0 人收藏 0 人点赞
#representation-learning

通过预测实现本体状态恢复

arXiv cs.LG ↗ · 2026-10-21 缓存

该论文提出将系统的本体状态定义为在给定查询空间上的完整响应谱,研究通过预测学习到的状态能在多大程度上恢复真实状态,并在合成系统与神经记录中给出预测-恢复的理论保证。

0 人收藏 0 人点赞
#representation-learning

面向潜空间规划的潜表征投影方法

arXiv cs.LG ↗ · 2026-10-21 缓存

本文提出了一种用于潜空间世界模型规划的后验潜表征投影方法:通过拟合状态动力学矩阵来剪除噪声潜方向,并将ℓ2规划代价限制在不确定性最低的子空间中,在TwoRoom和PointMaze等二维导航任务上取得了最高达+54.7个百分点的成功率提升。

0 人收藏 0 人点赞
#representation-learning

ALPS:用于世界模型的视觉状态编码器

Hugging Face Daily Papers ↗ · 2026-10-21 缓存

ALPS 是一种面向世界模型的预训练 ViT-B/16 视觉状态编码器,将物理状态预测、语言对齐和像素重建统一于单一的图像块词元表示中,其状态探针性能可媲美规模大 3.5 倍的 V-JEPA 2-L,并且在搭配其原生文本塔时,在 LIBERO 上实现了 85.5% 的平均策略成功率。

0 人收藏 0 人点赞
#representation-learning

OverSeer:超越智能体视野的多智能体世界模型

Hugging Face Daily Papers ↗ · 2026-10-20 缓存

OverSeer 提出了一种多智能体世界模型,通过固定辅助摄像机视角作为以世界为中心的表征来增强智能体的第一人称视角,并使用 delta-VAE 进行压缩以减少 token 计算量,在 Minecraft 和 Doom 中展现出更好的一致性。

0 人收藏 0 人点赞
#representation-learning

Slot-JEPA:面向潜在世界模型的对象结构化预测接口

Hugging Face Daily Papers ↗ · 2026-10-20 缓存

Slot-JEPA 将 JEPA 的稠密表示分解为可复用的语义槽与空间掩码,提供面向对象的预测接口,并结合 Transition Memory Predictor 与非平衡最优传输提升视觉理解迁移和目标条件规划,在七项视觉基准与 REALM-JEPA 机器人规划任务上取得改进。

0 人收藏 0 人点赞
#representation-learning

原生几何与线性可恢复性:对齐如何改变柏拉图式扩展

arXiv cs.LG ↗ · 2026-10-19 缓存

该论文区分了表征相似性的两种度量——原生余弦几何与线性可恢复性,并在五个模型族的天文数据集嵌入上发现,模型规模主要提升线性对齐后的邻域对应,而非原生几何收敛。

0 人收藏 0 人点赞
#representation-learning

压缩在先,内容决定:奖励模型中的涌现性错位

arXiv cs.AI ↗ · 2026-10-19 缓存

该论文研究了奖励模型中的涌现性错位(Emergent Misalignment),发现对 Skywork-Reward-V2 奖励模型进行窄域有害微调会泛化到七个未见领域,并通过几何压缩与内容特异性旋转两种机制解释了偏好反转的实现方式,表明奖励模型比语言模型更易受此影响。

0 人收藏 0 人点赞
#representation-learning

FlexUMM:统一多模态模型的灵活表示学习

arXiv cs.AI ↗ · 2026-10-19 缓存

FlexUMM提出了一种灵活的统一多模态模型框架,动态决定何时保留共享计算、何时路由到专门化容量、何时提前停止处理,从而在提升理解与生成任务准确性的同时提高计算效率,可作为即插即用模块增强现有UMM。

0 人收藏 0 人点赞
#representation-learning

零假设对照是必要但不充分的:评估科学发现与可解释性系统的验收防线

arXiv cs.AI ↗ · 2026-10-19 缓存

本文表明,仅依靠零假设对照不足以验证科学发现和可解释性系统,证明了像闭合性这样的验收测试可能被科学上毫无意义的候选结果通过,并提出结合多种标准,既能接受真实结果,又能拒绝零假设结果。

0 人收藏 0 人点赞
#representation-learning

任何3D场景都值得1K token:面向大规模场景生成的3D-grounded表示

Hugging Face Daily Papers ↗ · 2026-10-19 缓存

提出在由2D基础模型导出的高维隐式3D潜在空间中直接进行扩散建模,实现3D-grounded的场景级3D生成,相比2D多视角方法在空间一致性和效率上更具优势,并验证了其在表示与模型容量上的可扩展性。

0 人收藏 0 人点赞
#representation-learning

SpecMRL:在参数化谱空间中重新设计套娃表征学习

Hugging Face Daily Papers ↗ · 2026-10-19 缓存

SpecMRL 提出在参数化谱空间中重新组织特征以改进嵌入的前缀读出,在 MTEB 上以更少的嵌入维度超越标准 MRL 及其全维表现。

0 人收藏 0 人点赞
#representation-learning

世界模型的可解释性:从解码表征到理解潜在世界

Hugging Face Daily Papers ↗ · 2026-10-18 缓存

## 一篇观点性论文 **主题:面向基于 JEPA 的潜空间世界模型的四阶段研究议程——Ground(奠基)、Structure(结构化)、Verify(验证)、Act(行动)** **摘要** 该观点性论文提出了一套四阶段研究议程——**Ground、Structure、Verify、Act**——用于解释基于 JEPA(Joint Embedding Predictive Architecture,联合嵌入预测架构)的潜空间世界模型。文章主张,可解释性研究的重心应当从"解码表征内容"转向"理解潜变量之间的相互作用、演化过程及其对预测的因果驱动机制"。 核心论点包括: - **从解码到机制**:传统可解释性方法倾向于把潜变量当作需要还原为人类可读语义的"黑箱编码",而在潜空间世界模型中,关键问题不再是"模型学到了什么特征",而是"这些潜变量如何协同工作并产生预测"。 - **关注相互作用与演化**:潜变量之间的耦合关系及其随时间的动态演化,才是理解模型内部世界表征的切入点。 - **强调因果驱动**:预测能力的来源应被解释为潜变量层面的因果过程,而非仅仅归因于统计相关性。 **四阶段议程** 1. **Ground(奠基)**:为潜变量建立语义与经验锚点,明确其对应的世界要素。 2. **Structure(结构化)**:刻画潜变量之间的组织方式、依赖结构与层级关系。 3. **Verify(验证)**:通过干预与反事实实验检验所识别结构的可靠性与因果有效性。 4. **Act(行动)**:将理解结果反馈至模型设计、规划与控制,实现"理解即可用"。 论文认为,只有完成这一从表征解读到机制理解的范式转变,才能真正回答 JEPA 类世界模型"为何有效"以及"如何可信"的问题。

0 人收藏 0 人点赞
#representation-learning

面向力学相关 TPMS 超材料的拓扑感知表征学习

arXiv cs.LG ↗ · 2026-10-16 缓存

提出了一个将持久同调整合进DMAE骨干网络的拓扑感知表示学习框架,用于编码三周期极小曲面(TPMS)机械超材料的全局结构连通性,在机械属性无监督聚类上提升最高达51.5%,回归R²达0.993。

0 人收藏 0 人点赞
#representation-learning

开放世界人工智能:三个要求的故事

arXiv cs.AI ↗ · 2026-10-16 缓存

该论文提出开放世界AI需要三项核心要求:推理时学习、丰富表示和预测性解纠缠,并在最大880亿参数的语言模型上验证了满足这些要求的模型能从相关任务数据中持续提升,而其他模型则会退化。

0 人收藏 0 人点赞
#representation-learning

学会判别场景结构,让自监督深度学习可扩展

Hugging Face Daily Papers ↗ · 2026-10-16 缓存

MaSS 通过解耦结构表征与上下文特征并引入场景结构判别目标,使自监督单目深度估计可扩展到多样场景训练,并在零样本评估中展现出强大的跨域泛化能力。

0 人收藏 0 人点赞
#representation-learning

DUALVIEW:利用广泛证据和输出特定证据进行基于大语言模型的多输出文本回归

arXiv cs.CL ↗ · 2026-10-15 缓存

论文提出了DualView,一种参数高效的多输出文本回归方法。该方法利用冻结的大语言模型提取通用表示和输出特定表示,并通过双分支架构联合预测多个数值目标。在五个任务、八个大语言模型上的实验中,该方法优于七个监督学习基线,且可训练参数量减少了82–1842倍。

0 人收藏 0 人点赞
#representation-learning

HiPPT:通过多范围文本对齐实现基于生理学的可穿戴式 PPG 表征学习

arXiv cs.AI ↗ · 2026-10-15 缓存

HiPPT是一个基于生理学的可穿戴PPG表示学习框架,通过多范围文本对齐(记录级形态对齐与跨记录上下文对齐)在超过400万条腕部PPG记录上进行预训练,在血压、血管僵硬度等六项下游任务的线性探测中取得最佳结果,并支持年龄组、性别和BMI的零样本画像。

0 人收藏 0 人点赞
#representation-learning

视觉类增量学习方法能迁移到蛋白质领域吗?冻结蛋白质编码器的诊断性基准评测

arXiv cs.LG ↗ · 2026-10-15 缓存

该论文对九种主流类增量学习(CIL)方法在五个冻结的蛋白质编码器上的表现进行了系统基准测试,发现没有方法能可靠跨编码器迁移,并分析了失败源于嵌入几何异质性与不稳定的梯度稳定性信号,主张持续学习设计应将表征本身作为核心组件。

0 人收藏 0 人点赞
← Previous
Next →
← 返回首页

提交意见反馈