@berryxia: 兄弟们！Jina 今天直来了个大 的！ Jina-embeddings-v5-omni 来了！ 这是他们首个真正支持 text + image + audio + video 的统一 Embedding 模型！（多模态的EMB~！） 两个…

X AI KOLs Timeline 模型
multimodal embedding jina-ai open-source retrieval-augmented-generation

摘要

Jina 发布了首个支持文本、图像、音频和视频的统一多模态嵌入模型 Jina-embeddings-v5-omni。该模型提供 Small 和 Nano 两个版本，向后兼容原有索引且性能强劲，已上线 Hugging Face 及 Jina API。

兄弟们！Jina 今天直来了个大 的！ Jina-embeddings-v5-omni 来了！ 这是他们首个真正支持 text + image + audio + video 的统一 Embedding 模型！（多模态的EMB~！） 两个尺寸： Small（1.57B，1024维，32K 上下文） Nano（0.95B，768维，8K 上下文） 还支持 Matryoshka 截断到 32 维，超级灵活。 最爽的是完全向后兼容：你原来的 v5-text 索引不用动，直接换成 omni 就能开始搜图片、音频、视频了！同一向量空间，无需 reindexing。 性能也很猛，小模型就打平甚至超越好几个参数量大几倍的开源模型。 现在已经在 Hugging Face、Jina API、Elastic Inference Service 上架了。 这波多模态 embedding 真的要爽了兄弟们！ 你们已经在做多模态 RAG 或者多媒体搜索了吗？
查看原文

相似文章

zsxkib/jina-clip-v2

Replicate Explore

Jina CLIP v2 是一个改进的多模态嵌入模型，支持 89 种语言、高分辨率图像和灵活的嵌入维度，性能比 v1 提升 3%，在多语言基准测试上达到最先进水平。

tencent/Youtu-Parsing-Omni · Hugging Face

Reddit r/LocalLLaMA

Tencent 发布 Youtu-Parsing-Omni，一个 5B 的全能模态解析模型，统一处理文档、图像、图表、音频和视频输入并输出结构化 JSON，在 OmniDocBench v1.6 上取得 96.96 的最佳成绩，并开源模型权重与 vLLM 插件。