encoder

该论文介绍了拉丁语 Modern BERT（LAMB），这是一种基于 ModernBERT 的编码器，采用融入形态学信息的掩码策略，在超过 740 亿个拉丁语词元上进行预训练；同时还介绍了两个新的拉丁语语料库（Acervus 和 Corpus Trinum），并表明该模型在 17 项基准子任务中的 16 项上优于 15 种现有编码器。

这篇论文介绍了 Verdict-MQ，这是一款拥有 3.95 亿参数的开放编码器，只需对输入的状态编码一次，即可通过结构化注意力掩码回答多个关于该输入的类型化问题。在类型化决策任务中，它在校准度和准确率方面优于拥有 4.21 亿参数的 Laya 交叉编码器，但代价是在 RACE 和 BoolQ 上的性能有所下降。

UltraBERT 重新审视了双向编码器的预训练设计选择，揭示了在超过数万亿 token 后性能趋于饱和、分类与检索任务之间掩码比例的权衡，并提出了一种双 LM 头蒸馏方法，在 GLUE（91.0）和 BEIR（47.7）上均达到了最先进的性能。

DecisionTune 1.0 是一个 3.95 亿参数的编码器（ModernBERT-large 加上一个评分头），用于离线为小型代理（agent）决策进行选项评分。在 MLX 上，每次决策约 10 毫秒即可完成，采用 Apache-2.0 协议发布的权重，并提供 PyTorch、MLX 和 ONNX 后端支持。

A tweet discusses the resurgence of encoder models in AI, referencing BERT and GPT, and questions if this marks a Renaissance of the Encoder.

NeoMME 展示了一系列高效的多模态编码器，采用掩码离散扩散进行预训练，在视觉文档检索和高嵌入压缩方面表现优异，同时在基准测试中超越了更小的模型。

Liquid AI 对其 LFM2.5-Encoder 模型（230M 和 350M）进行了微调，使其能够在单次前向传播中执行多标签分类，无需解码循环或解析。这展示了在 NLP 任务中进行高效标签评分的潜力。

Liquid AI 发布了 LFM2.5-Encoder-230M 和 LFM2.5-Encoder-350M，这些双向编码器针对分类和检索等非生成任务进行了优化，在长上下文中提供快速的CPU推理。

Liquid AI发布了两个新的编码器模型，LFM2.5-Encoder-230M和LFM2.5-Encoder-350M。这些模型快速、易于训练且多语言能力强。速度基准测试显示，与ModernBERT-base相比，CPU性能提升了3.7倍以上。

Liquid AI发布LFM2.5-编码器（230M和350M），这是为CPU上长上下文推理优化的高效编码器模型，在基准测试中匹配或超越更大编码器，相比ModernBERT-base实现3.7倍加速。

Liquid AI releases LFM2.5-Encoder-350M, a multilingual bidirectional encoder built on the LFM2 architecture, offering strong quality for its size, 8k context, and efficient on-device performance across 15 languages.

CrossBERT将表示学习与令牌重构解耦，实现更高的掩码比例和更好的样本效率，在MTEB和GLUE基准测试上超越BERT。

本文介绍了LeanGuard，一种基于轻量级双向编码器的安全护栏，在匹配更大规模推理式护栏精度的同时，速度提升约100倍，挑战了“链式推理对于有效审核必不可少”的假设。

文章描述了 libdeflate 新的级别13，这是一种故意减慢的 DEFLATE 压缩级别，在 Silesia 数据集上仅能实现微不足道的压缩提升（0.134%），但代价是比级别12慢56倍，专为数据压缩一次、解压多次的场景设计。

本文介绍了m3BERT，一种多语言双向编码器，采用新颖的预训练策略，联合优化跨Transformer层和多个嵌入维度的表示，使得单个模型能够适应不同的资源约束。在Bing-Click工业检索数据集上，它显著优于现有最优模型。