标签
Google 推出 EmbeddingGemma 2，一个统一文本、图像、音频与视频表示的开源多模态嵌入模型，采用简化逐层嵌入与多阶段训练课程，在各模态基准上建立新的帕累托前沿，性能超越大 2 至 12 倍的模型。
Kyutai Labs 推出 REKI，一个完全基于公开数据预训练的 2.4B 视觉-语言-动作模型，在性能与模型规模之间开创了新的帕累托前沿。该模型设计简洁，在动作专家模块中使用了寄存器词元记忆机制。完整代码、数据整理流程以及所有预训练/微调权重均已开源发布。
MIT 6.5940：TinyML 与高效 AI 计算，由 MIT 副教授 Song Han 主讲，已开源全部课件和视频——涵盖模型压缩、TinyML 部署、LLM 与扩散模型加速以及高效训练，包含五个动手实验。
LightMIS 提出了一种可扩展的超轻量级卷积神经网络家族，用于二维二值医学图像分割，在减少参数量和GFLOPs的同时实现高精度，适合设备端执行。
QVAC Genesis III 是一个开源的合成 STEM 语料库，旨在提升语言模型预训练的效率，与先前的数据集相比，在基准测试中表现出显著改进。
Empero AI发布其首个MoE模型Qwen3.8-35B-A3B-Distill，该模型将Qwen3.8的推理能力蒸馏到一个更小、更高效的架构中，在ARC-Challenge基准测试上显示出改进。
LeVJEPA引入了一种更高效的自监督视频预训练方法，通过消除对目标网络和预测器的需求，使用带有SIGReg正则化器的单一共享编码器，并以更低的计算成本实现有竞争力的性能。
本文介绍BF1，一种因果二元稀疏注意力改造，旨在提升Transformer在长上下文处理中的效率。
GRNEdit是一个轻量级的两阶段框架，用于高效通用视频编辑，通过使用二进制语义决策和源证据，以比大型模型更少的参数实现高性能。
DistilVDR is a compact 524M visual document retriever distilled from an 8B teacher via cosine alignment, achieving near-teacher accuracy on ViDoRe with 15.6x smaller indexes and faster indexing.
Kathleen系列的这篇论文表明，一个约0.5M参数、无注意力机制的字节级模型在WikiText-103语言建模和生成上可以击败参数匹配的transformer；引入了一种非参数的“形式距离”（Form Distance）度量来评估文本真实感；并证明从模型自身训练语料库进行检索增强解码能提高生成质量。
AntLingAGI 发布 Ling 3.0 flash，一个原生混合线性推理模型，总参数 124B，激活参数 5.1B，采用 MIT 许可证，声称以更少的计算量和更快的响应速度媲美 1T 参数的旗舰模型。
Maple-Preview 是一个三值 20B MoE 模型，在 iPhone 上每秒可运行 120 个 token，展现了高效的端侧推理能力。
用户询问关于 Mach-1 Additive 的情况，据称该模型在体积小10倍的情况下，实现了 Qwen 3.6 35B 95% 的性能，并质疑为什么它没有得到更广泛的讨论。
据称 DeepSeek V4 Flash 仅有2840亿参数，激活参数仅130亿，对中美模型厂商构成效率冲击。
Thinking Machines发布了Inkling-Small，这是一个高效的开放权重混合专家模型，总参数量276B，激活参数12B。它的大小仅为更大版本Inkling的四分之一，但性能与之相当。该模型原生支持音频和图像推理，具备可变的思考深度，并拥有100万token的上下文窗口。
Liquid AI发布LFM2.5-编码器（230M和350M），这是为CPU上长上下文推理优化的高效编码器模型，在基准测试中匹配或超越更大编码器，相比ModernBERT-base实现3.7倍加速。
谷歌的 Gemma 4 26B A4B 模型可通过模型分页在 iPhone 17 Pro 上运行，实现强大的设备端 AI 功能。
Four Over Six（4/6）为NVFP4量化引入了自适应块缩放，以最小开销降低量化误差，同时改善了大语言模型的训练和训练后量化。
蚂蚁集团发布了LingBot-Vision，这是一个包含四种规模的DINO风格视觉骨干网络系列；其中0.3B ViT-L在NYUv2深度估计任务上，以约23倍更少的参数量达到了DINOv3-7B的性能，展现了显著的效率提升。