@YRSM_Simon: 7天,5亿token,Local AI GLM 5.2,deepseek v4 flash,Qwen 3.6 35B A3B,三个模型几乎能满足绝大部分业务自动化需求了
摘要
A user reports that using three local AI models (GLM 5.2, DeepSeek v4 Flash, Qwen 3.6 35B A3B) over 7 days with 500 million tokens can cover most business automation needs.
7天,5亿token,Local AI
GLM 5.2,deepseek v4 flash,Qwen 3.6 35B A3B,三个模型几乎能满足绝大部分业务自动化需求了 https://t.co/qULfBAOg13
查看缓存全文
缓存时间: 2026/07/21 14:45
7天,5亿token,Local AI
GLM 5.2,deepseek v4 flash,Qwen 3.6 35B A3B,三个模型几乎能满足绝大部分业务自动化需求了 https://t.co/qULfBAOg13
相似文章
@Vincent_AINotes: 本地部署大模型,就算你显卡性能拉满,稳定每秒跑100Token,24小时不间断满载运行,一天满打满算也就跑出8.64M Token。 拿这点吞吐量去搞什么Agent自动化集群、海量合成数据或者大批量业务分析,简直是杯水车薪。本地部署图个数…
本地部署大模型受限于硬件吞吐量,即使显卡性能满载,一天仅能处理约8.64M Token,不足以支持Agent自动化集群或大规模数据分析,因此规模化应用仍需依赖云端API。
@TechMDAI: GLM-5.3-Flash EXL3-3.0bpw 由 @0xSero、@BrandonMusicKy、@LottoLabs、@localmaxxing 实现,速度 193.8 tokens/s
这篇文章重点介绍了 GLM-5.3-Flash EXL3-3.0bpw AI 模型,其推理速度达到每秒193.8个令牌,归功于多位贡献者。
@DeRonin_: 我目前的本机AI配置:- 2x DGX Spark 链接 (256gb) > GLM 5.2 @ 2bit, 推理 + 代理循环 - Mac Studio M3 Ultr…
一位用户描述了他们完全本地的AI堆栈,使用多个硬件设备运行GLM、Qwen和Kimi等中国模型,声称相比GPT-5.5和Opus 4.8等前沿模型节省了87%的成本,同时提到了自托管视频生成的计划。
@xueyu1125: 想跑本地大模型,如果能达到 50 token/s,才比较可用 提供下顶尖模型 API 输出速度参考(Gemini Flash 300+) DeepSeek V4 Flash:99.5 token/s GPT-5.6 Sol:68.1 to…
讨论本地大模型运行所需的token速度标准,并提供了多个顶级AI模型的API输出速度对比。
@YRSM_Simon:120 t/s!干得好,@UnslothAI
Unsloth AI 宣布推出 DSpark,使 DeepSeek-V4-Flash GGUF 模型在本地运行速度提升约 1.4–2 倍,达到 120 tokens/s,且准确率无变化。