@ItsmeAjayKV:过去7天我在家庭实验室运行的本地LLM分析。MoE模型现在统治了我的3090。使用最多的模型:@thinkymachine…

X AI KOLs Timeline 新闻

摘要

一位用户分享了在家庭实验室运行本地LLM的7天统计数据,指出MoE模型主导了其RTX 3090,其中Inkling-small和Ling-3.0-flash表现出色,并计划开源其仪表盘。

以下是我过去7天在家庭实验室运行的本地LLM分析。 MoE模型现在统治了我的3090。 使用最多的模型: @thinkymachines Inkling-small-UD-Q4_K_M @AntLingAGI Ling-3.0-flash Q4 现在已攀升至第二位 @deepseek_ai DSV4-flash-0731 位列第三 话虽如此,有几次会话我忘了记录,但这不会真正改变结果,因为那些会话都是在Inkling-small上进行的。 根据我的测试,Inkling-small是一个非常扎实的模型,但Ling-3.0正在慢慢成为我的最爱,它在速度和品质之间取得了很好的平衡。 DSV4-flash很好,但慢到不实用,我讨厌等待。 天哪,我的仪表盘看起来太棒了! 很快会将其开源
查看原文
查看缓存全文

缓存时间: 2026/08/09 15:19

最近 7 天我在家庭实验室里跑的本地 LLM 分析结果如下。

MoE 模型现在统治了我的 3090。

使用最多的模型: @thinkymachines 的 Inkling-small-UD-Q4_K_M @AntLingAGI 的 Ling-3.0-flash Q4 已升至第二位 @deepseek_ai 的 DSV4-flash-0731 位列第三

话虽如此,有几次会话我忘记记录了,但这基本不会改变结果,因为那些会话用的都是 Inkling-small。

根据我的测试,Inkling-small 是一款非常靠谱的模型,但 Ling-3.0 正慢慢成为我的最爱,它在速度和品质之间取得了很好的平衡。

DSV4-flash 是不错,但慢到实用性不足,我讨厌等待。

天哪,我的仪表盘看起来太棒了! 不久后我就会把它开源。

相似文章

@TheAhmadOsman: 本地AI现在很好了

X AI KOLs Following

Ahmad宣布了一个本地AI硬件竞技场,使用ODS在RTX PRO 6000、DGX Spark、Strix Halo、M5 MacBook Pro和ChatGPT等硬件上对LLM进行基准测试,并邀请社区为未来的比较提供意见。