标签
本文通过分析计算，针对基本数据增强和具有平稳统计特性的自然图像，在对比损失下得到了最优表示。结果表明，最优CNN的第一层滤波器是正弦波，且权重可通过注水算法计算。
本文研究了用于稀疏分布式内存的Rank-Order N-of-M编码，通过分离表示与学习效应来评估噪声鲁棒性，并与当代神经形态架构进行比较。
CrossBERT将表示学习与令牌重构解耦，实现更高的掩码比例和更好的样本效率，在MTEB和GLUE基准测试上超越BERT。
提出了一种条件扩散引导的知识迁移框架，用于多领域知识图谱补全，在不抑制领域特定信息的情况下生成领域通用实体嵌入，相较于最先进方法平均MRR提升4.3%。
本文介绍了Mining via Activation Geometry (MAG)，这是一个无监督框架，通过自然语言指令从LLM激活中提取推理特征，从而实现激活引导和分类器探针的有效训练数据选择。
本文提出SiamJEPA，它在JEPA模型中使用带有EMA教师网络的遮蔽孪生学生编码器，与单编码器变体和MAE相比，显示出改进的表示可分性和训练效率。
本文引入了角色感知神经凸散度头，在评估输入凸神经Bregman散度之前应用源角色和目标角色投影，从而为词汇蕴含、句子蕴含和本体层级等任务实现结构化和可解释的非对称距离学习。实验表明，在语义和本体基准上，角色感知投影相较于普通ICNN-Bregman头在方向准确性上持续提升。
本文研究了在双人零和不完美信息博弈中学习有用的策略表示（嵌入）的方法，介绍了创建策略数据集、学习嵌入以及使用Kuhn和Leduc扑克在下游任务中评估这些方法的技术。
本文介绍了一个从音频嵌入预测味觉品质（如甜、苦等）的基准测试。它评估了10个预训练的音频编码器，实现了0.134的均方根误差，超越了先前的最优水平，并实现了基于味觉的音乐检索。
本文介绍了LOPA，一个轻量级口语评估框架，它利用潜在序数原型对齐和语义锚定层路由（基于冻结的Whisper编码器），在不进行LLM微调的情况下，实现了与十亿参数模型相当的性能。
本文提出了一种自监督的基于Mamba的模型，从电子健康记录中学习有效的表征以改进患者亚型分类，在真实世界数据集上展示了优于基线模型的性能。
本文引入了文本潜在状态和分解式GRPO（fGRPO），以在基于文本的世界模型中强制实施严格中介，解决了可识别性问题，在表示质量上实现了高达57%的提升，在展开性能上实现了98%的改进。
Prism Transformer 用渐进式头调度替代了统一的多头注意力机制，该调度在层间逐步增加头的数量，从而在不增加参数或计算量的情况下实现从局部到全局的层级结构。在124M、354M和757M三个模型规模上，它在语言建模和零样本基准测试中始终优于标准Transformer。
讨论World Models（通过学习内部环境表示来模拟物理和规划行动）是否能够克服类似LLMs的被动预测文本模型的局限性，从而通向AGI。
本文提出了一个使用图神经网络从凯莱图学习代数性质的通用框架，为利用GNN进行代数推理提供了新方法。
本文介绍了三个数据集（Hell-Char、PaLit-Char、Med-Char），用于古希腊字母形态的历时表征学习，并提出了一种基于相似性加权的有监督对比损失函数，结合空缺驱动增强方法，以鲁棒地学习跨越数百年手写变化的字符嵌入。
本文介绍了受群体智能启发的涌现同步器（SIES），这是一个图动力框架，能够学习可泛化的局部交互规则，以实现可控的集体组织，适用于同步控制和异质图表示学习。
本文研究了在学习到的潜在世界模型中如何认证守恒定律，提出了有界时域，通过可测量的模型缺陷可提前保证轨迹在物理不变水平集上保持多少步。
本文提出了一种二元少样本分类的光谱相图，通过分析内在维度和几何饱和进行表征诊断。
Pangram Labs探索其AI检测模型Pangram 3.3.2的内部表示，分析模型如何在不同层中区分人工文本与AI文本，使用来自多种来源的5,000份文档的平衡数据集。