Keye-VL-2.0-30B-A3B —— 首次将DSA注意力引入多模态

Reddit r/LocalLLaMA 模型
multimodal vision-language long-video dsa-attention agent open-source 30b-parameters

摘要

快手发布Keye-VL-2.0-30B-A3B，这是一款30B级多模态基础模型，首次将DSA注意力引入多模态领域，专注于长视频理解与智能体能力。

介绍Keye-VL-2.0-30B-A3B —— Keye系列最新30B级旗舰基础模型，专为推动长视频理解的前沿以及解锁Keye家族第一代智能体能力而设计。 [https://huggingface.co/Kwai-Keye/Keye-VL-2.0-30B-A3B](https://huggingface.co/Kwai-Keye/Keye-VL-2.0-30B-A3B) https://preview.redd.it/wsxe233abh3h1.png?width=1244&format=png&auto=webp&s=aa9ffa388e16e4f8f5cb72ed3dae063f99df69f1 https://preview.redd.it/2iymyb9dbh3h1.png?width=2048&format=png&auto=webp&s=a834ce92294c3be059b50c6993f1be6d3faf2767
查看原文

相似文章

Kwai-Keye/Keye-VL-2.0-30B-A3B

Hugging Face Models Trending

Kwai-Keye 发布了 Keye-VL-2.0-30B-A3B，这是一款 30B 级别的视觉语言模型，具备先进的视频理解、稀疏注意力机制和智能体能力，在多项基准测试中达到顶尖水平。

Kwai Keye-VL-2.0 技术报告

Hugging Face Daily Papers

本技术报告介绍了 Kwai Keye-VL-2.0，这是一个开源的混合专家多模态基础模型，专为长视频理解和智能体智能设计，利用 DeepSeek 稀疏注意力机制和跨模态蒸馏技术，在同等规模模型中实现了最先进的性能。

Interdomain Attention: 超越令牌级键值记忆

arXiv cs.LG

提出了Interdomain Attention，一种通过核方法将状态空间模型集成到注意力中的新方法，实现了固定大小状态的高效长上下文建模，并在参数规模达13亿的语言建模实验中超越了SSM和softmax注意力。