标签
DREAM通过利用自回归语言模型的注意力来监督查询-文档相似度，从而训练密集检索嵌入，无需标注数据。在不同模型规模下，它在BEIR和RTEB基准测试上始终优于基线。
BadWorld是一种无标签的对抗框架，通过生成不可察觉的扰动来揭示视觉世界模型中的结构漏洞，这些扰动会导致未来展开中的灾难性失败。
本文提出一种自监督强化学习框架，利用一致性验证器（检查变换下几何和语义一致性的奖励函数）来提升大型推理模型的空间推理能力，无需真实标注。该方法接近监督微调的准确率，并能泛化到多种任务。
本文研究了预训练的自监督语音模型（如Wav2Vec2和HuBERT）是否能够准确识别咔嗒辅音（click consonants），这些辅音在训练数据中较为罕见，通过在科伊桑语言（Khoisan languages）上进行微调来测试。结果表明，这些模型识别咔嗒辅音的准确率高于非咔嗒辅音，表明它们能够泛化到不常见的音素。
一种新颖的多语言词级强制对齐方法，结合了来自MMS的自监督表示和音素边界检测器，以及一个学习动态规划解码器，在英语和未见过的语言上优于现有对齐方法，无需额外训练。
MaskAlign提出了一种Token子集表征对齐方法，通过减少对完整Token集的依赖，并在扰动下保持稳定对齐，从而改进扩散Transformer训练。
介绍了BUMP，一个自监督框架，用于训练面向LLM个性化的画像生成器，无需任务标签，使用双向批内排序和GRPO。在LaMP基准测试中，它达到或超过了有监督方法。
回溯式工具链优化（RHO）是一种自监督方法，仅利用历史轨迹即可提升LLM智能体性能，在SWE-Bench Pro上实现78%的通过率，无需外部评分。
DataCOPE 是一个面向数据分析智能体的无监督验证器引导的技能发现框架，它从探索轨迹中提取验证器信号，无需标注监督。在报告式与推理式数据分析任务上，分别提升了 9.71% 和 32.30% 的性能。
MemTrain 提出了一种自监督训练框架，通过在维基百科语料上使用掩码重建和中间记忆召回代理任务，增强 LLM 智能体的上下文记忆能力，在下游记忆密集型 QA 基准上取得了高达 17.67 个百分点的提升。
MindZero 提出了一种自监督强化学习框架，用于训练多模态大语言模型，使其能够高效且鲁棒地进行在线心智推理，而无需心智状态标注，在准确性和效率上均优于基于模型的方法。
RayDer 是一个统一的前馈变换器，它将相机估计、场景重建和渲染整合到单一架构中，用于从真实世界视频进行自监督的新颖视图合成，实现了清晰的幂律扩展和强大的零样本性能。
SAVE框架通过使用价值函数对策略内响应进行评分，并通过对比目标更新模型，从而改善奖励模型训练，在六个基准测试中取得了优于其他方法的结果。
ChildVox 提出了一个全面的基准，用于分析儿童在不同发育阶段的声学交流，整合了来自17个以儿童为中心的音频和语音数据集的20多个子任务。
PilotWiMAE提出了一种自监督框架，直接接收含噪的导频观测进行无线信道表示学习，消除了不切实际的全CSI假设，并实现了优于监督基线的鲁棒跨频波束选择和信道估计。
本文提出一种方法，通过在测试时优化固定小样本提示的连续嵌入来改进上下文学习，该方法利用模型对数概率导出的自监督置信代理，无需微调或生成令牌。
下一隐式标记预测（NITP）通过在表示空间中添加密集的连续监督来增强语言模型预训练，从而在各种模型规模上以极小的计算开销提升泛化能力和性能。
介绍了时间对比变换器（TCT），一种用于从金融交易中学习时间嵌入的自监督框架，用于欺诈检测。仅使用嵌入时AUC达到0.8644，但并未超过强工程特征（AUC 0.9205 vs 0.9245），表明学习到的表示与现有特征存在重叠。
Black Forest Labs 在 AI Engineer 大会上分享了 Flux 系列模型的演进历程，并发布了 SelfFlow 研究论文，提出了一种无需外部编码器的自监督多模态训练方法。