标签
本文在不修改权重的情况下，评估了拥有 3.05 亿参数的 Gemma 4/EmbeddingGemma 2 语音编码器在沙特及海湾阿拉伯语自动语音识别（ASR）任务上的表现，将冻结的 CTC 解码器和引入适配器的系统与 Cohere Transcribe Arabic 及其他基线系统进行比较，结果显示其字符错误率（CER）具有竞争力，且效率显著提升。代码和结果均已公开。
作者将LLM的决策蒸馏到冻结的ModernBERT编码器上的小型头部中，通过修复选项预算，将banking77任务的准确率从67.5%提升至76.0%，并提供了关于令牌读取和教师一致性的见解。
本文通过受控的多种子实验，检验根据输入难度调整冻结句子嵌入是否有助于提升性能。研究发现，逐句复杂度调节无效，而通过交叉编码器难度信号门控的句子对级别残差在语义相似度任务上带来了一致的提升。
本文介绍了 jina-embeddings-v5-omni，这是一套多模态嵌入模型，通过冻结塔组合技术将文本嵌入扩展至图像、音频和视频。该方法仅训练总权重的 0.35%，在保持文本几何结构的同时，以显著降低的计算成本实现了极具竞争力的最先进性能。