foundation-models

Align-RAG 引入了一种无需训练的闭式对齐方法，用于在冻结的时间序列基础模型上进行检索增强预测，在标准基准测试中超越了学习型融合适配器，且无需任何学习参数。

本文研究在人类行为数据上微调的小型基础模型是否可以作为认知代理，发现规模在分布内影响甚微，但较大模型在分布外具有更好的泛化能力。

Liquid AI 宣布与 MacPaw 合作，为 Mac 用户带来端侧 AI，并设计专门用于 macOS AI 助手的 Liquid Foundation Models。

本文指出语义偏移越狱攻击因忽视上下文的语义偏移能力而受限，并提出迭代上下文优化（ICO）——一种黑盒框架，通过迭代优化上下文来提高对基础模型的攻击成功率。

这是一篇综述论文，为具身代理中的语言接地引入了功能角色分类，区分了五种角色，并通过审计证据来评估语言的贡献是否真正得到支持。

本文介绍了CoCoS，一种对比预训练框架，通过互补的转录组视图学习全细胞表征，解决了单细胞基础模型中掩码基因重建的局限性。在细胞类型注释和基因调控网络推断实验上，展示了具有竞争力的迁移性能。

本文提出了前沿学习（Frontier Learning）框架，该框架结合多个黑盒和白盒预训练模型的表示与预测，构建统一的目标域表示，并保证在分布偏移下性能不劣于任何单一复用基线。在视觉域适应和临床死亡率预测上的评估显示，该方法相较强基线持续获得增益。

介绍了Obshazard-bench，这是一个实时、观测驱动的基准，用于评估多模态基础模型从原始地球观测流中获取灾害智能的能力，涵盖60多个国家的8个灾害类别。

This paper explores using the PluRel synthetic relational database generator as an external data source for pretraining RDB-PFN, a relational in-context learner, demonstrating that schema-guided curriculum design can recover most of the original performance with far fewer pretraining tasks.

This paper proposes FedSLM, a parameter-centric framework for federated fine-tuning of foundation models with heterogeneous compressed clients, using SVD-based decomposition and a weak-to-strong elicitation step to handle resource asymmetry. Experiments show it outperforms existing federated baselines while reducing client GPU memory by ~50%.

介绍了NEXUS，一个约300万参数的轻量级基础模型，在LHC对撞数据上进行预训练，展示了在引力波、洪水预测和神经活动等任务上的改进下游性能及跨域迁移能力。

ECG-InterpBench 是一个新基准，利用匹配尺度稀疏自编码器系统评估 ECG 基础模型表示的可解释性，涵盖重建保真度、临床概念可访问性以及跨 450 个单元的可重复性。

本文证明，在小规模Transformer模型上拟合的缩放定律能够准确预测在粒子物理喷注数据上训练的更大模型的损失，从而在大规模训练之前将计算预算转化为预期的物理性能。他们发布了五个预训练模型以及完整的训练方案。

该论文介绍了记忆基础模型，其首个原型Metis通过全新架构和训练数据，赋予基础模型原生记忆能力。

视觉提示工程（VIPE）自动修改任务图像以提升视频模型的推理性能，通常比基于文本的提示或测试时缩放更为有效。

Andrew Chen 讨论了人工智能如何通过基础模型的改进创造了一个新的“微笑曲线”，使得留存和使用率随时间增加，类似于过去的社交、按需和SaaS产品。

SpecPrefetch提出了一种面向稀疏MoE模型的参数高效专家预取框架，使用轻量级适配器预测下一层专家以进行异步传输，同时保留原生路由语义。在Snapdragon 8 Elite设备上，它实现了高达20%的解码吞吐量提升，展示了在内存受限部署中的实用优势。

据报道，亚马逊计划将其多个Nova AI模型整合为一个前沿模型，从多元化的产品组合策略转变。

SeT-Diff提出了首个面向HPC遥测的基础模型，利用基于语义传感器描述的扩散机制，在插补、预测和虚拟传感等任务上实现零样本泛化，重建任务的MAE达到0.0470。

本文介绍了视觉提示工程（VIPE），一种自动修改任务图像以提升视频模型性能的方法，表明它可能比基于文本的提示工程或测试时缩放更为有效。