我们迫切需要一款80-160B的模型。统一内存设备市场需要更多模型。

Reddit r/LocalLLaMA 新闻

摘要

作者认为,当前迫切需要80-160B参数范围的AI模型,以支持使用统一内存设备的用户(例如高内存的Apple/AMD系统),因为最近的模型对于他们的硬件来说要么太小,要么太大。

大家好,我就长话短说了。有很多人拥有大量但不够快的“慢”内存。任何拥有96GB以上Apple设备的人、任何拥有96GB以上Ryzen AI 395设备的人、任何拥有DGX Spark的人,甚至拥有RTX 6000 Pro或4x3090或其他配置的人。或者拥有128GB DDR4/5内存的人。然而,最近三个月发布的模型要么是为高速低容量机器设计的(27B Qwen、31B Gemma),要么是另一个极端的大型模型(GLM 5.2、Deepseek V4 Pro、Kimi 2.7、Mimo 2.5 Pro、MiniMax M3)。我们这些使用统一内存设备或其他80-128GB配置的人,要么不得不使用较旧的模型,但那些模型目前并不出色,因为前沿已经扩展了(GLM 4.5 Air、GPT OSS 120B、Qwen 3.5 122B、Nemotron 3 Super 120B、Qwen 3 Coder Next 80B);要么由于内存带宽慢而不得不在RAM/VRAM上使用小模型(Qwen 3.6 35B或Gemma 4 26B)。我们需要一些在100B 10B稀疏范围内的模型。一些拥有AMD 9700 AI Pro或Rtx 3090/5090以及64GB显存的人可以使用的模型。一些DGX Spark用户、Ai395+用户、Apple用户等可以使用的模型。比如类似Gpt OSS 120B V2、Gemma 4 122B、Qwen 3.6/3.7 122B、GLM 5.2 Air、Deepseek V4 Mini 100B、Mimo 2.5 Mini 100B或任何类似级别的模型。甚至Qwen 3.6 Coder 80B也会是大家喜欢的。我真的希望能得到一些这样的模型——否则我现在只能用Spark上的Qwen 3.5 122B了。谢谢。
查看原文

相似文章

为什么缺乏新的100B-120B模型?

Reddit r/LocalLLaMA

分析AI模型尺寸趋势,指出100-120B参数范围存在空白,近期发布主要聚焦于较小(25-35B)或较大(200B+)的模型。

@berryxia: Apple 一直其实在赌端侧模型的应用! 统一架构内存就是端侧模型的天然温床! 统一内存也就是,内存即显存。 也看到越来越多的优秀端侧模型出现。 OpenBMB 把 MiniCPM-V 4.6 这个 1.3B 的多模态模型放出来了,我看完…

X AI KOLs Timeline

OpenBMB 发布了 MiniCPM-V 4.6,一个 1.3B 参数的多模态模型,通过高分辨率视觉处理和高效压缩技术,在消费级硬件和手机上实现快速推理,性能超过同类大模型,且全面开源支持多种推理和量化框架。