performance-test

标签

Cards List
#performance-test

@Pluvio9yte:当AI画一只骑自行车的鹈鹕时,谁大跌眼镜?同样的请求,实际测试:Fusion画出了链条、曲柄组、a…

X AI KOLs Following · 3天前 缓存

Fusion是来自新加坡实验室的新AI模型,在SVG生成方面表现出色,具有准确的结构连接和与Claude的Opus 5相比显著的成本节省。

0 人收藏 0 人点赞
#performance-test

@AlmustyFX: 这才是真正重要的本地AI测试。一个7.9B MoE模型在M4 Pro上以152 tok/s运行,配备64GB统一内存…

X AI KOLs Timeline · 2026-08-29 缓存

一个7.9B MoE模型在M4 Pro上以每秒152个令牌的速度运行,配备64GB统一内存,能够离线处理敏感合同数据,并展示了本地AI的实际应用。

0 人收藏 0 人点赞
#performance-test

### 基准测试结果:在macOS上运行Qwen3.8-27B的最佳且最快的引擎是什么? 目前尚未有官方或广泛认可的基准测试明确指出运行 **Qwen3.8-27B**(假设为27B参数模型)在macOS上性能最优的引擎。实际性能高度依赖于以下因素: 1. **硬件配置**:特别是Mac芯片型号(M1/M2/M3/M4 Pro/Max/Ultra)、统一内存容量和速度。 2. **模型量化格式**:使用的GGUF/GGML量化级别(如Q4_K_M, Q8_0等)显著影响速度和内存占用。 3. **引擎版本与优化**:引擎的编译优化、对Apple Silicon的Metal/Vulkan后端支持程度。 **不过,基于社区普遍反馈和当前技术栈,以下引擎通常被认为在macOS上运行大型语言模型表现出色:** #### 1. **llama.cpp(及其衍生版本)** - **优势**:高度优化,原生支持Apple Silicon的**Metal**加速,性能卓越。是macOS上运行量化模型(GGUF格式)的**事实标准**。 - **推荐**:使用最新版本的 `llama.cpp`,并在编译时启用Metal后端。其子项目 `llama-ggml-metal` 性能强劲。 - **运行方式**:通常通过命令行工具(如 `llama-cli`, `llama-server`)运行。 #### 2. **MLX** - **优势**:由Apple团队开发的**专为Apple Silicon优化的机器学习框架**。能原生利用芯片的统一内存和GPU,理论上能实现最佳性能和内存效率。 - **现状**:对部分模型有良好支持,但生态和模型兼容性(尤其是GGUF格式)相比llama.cpp可能稍逊。需确认Qwen3.8-27B是否有适配MLX的版本。 - **推荐**:如果MLX版本可用且性能良好,它很可能是**“最快”** 的选择。 #### 3. **LM Studio** - **优势**:提供开箱即用的图形界面,底层集成了`llama.cpp`等引擎,并进行了优化配置。对用户友好,性能也十分优秀。 - **推荐**:适合希望便捷管理模型和参数,并快速获得良好性能的用户。 **如何自行寻找“最佳”答案?** 由于缺乏统一基准,最可靠的方法是**自己测试**: 1. **下载引擎**:获取最新版本的 `llama.cpp`(带Metal)、 `MLX` 相关推理工具,或 `LM Studio`。 2. **准备模型**:下载适用于你目标引擎的 `Qwen3.8-27B` 量化文件(例如GGUF格式)。 3. **进行基准测试**: - **速度**:测量生成速度(tokens/秒)。 - **内存**:观察内存占用峰值。 - **稳定性**:确保运行稳定。 4. **调整参数**:在每种引擎中调整上下文长度(`-c`)等参数,找到平衡点。 **结论建议:** - **追求极致性能与兼容性**:首选 **llama.cpp**(确保启用Metal)。 - **追求Apple生态原生与潜在最优效率**:尝试 **MLX**,但需先确认模型支持。 - **追求便捷性与高性能的平衡**:选择 **LM Studio**。 请记住,27B参数的模型即使量化后,也需要 **32GB 或更多统一内存** 的Mac才能流畅运行。请根据你的具体硬件进行选择和测试。

Reddit r/LocalLLaMA · 2026-08-23

本文对macOS上运行通义千问Qwen 3.8 27B模型的各类引擎进行了基准测试,比较了其在智能体编程任务中的速度与性能表现,并推荐使用MTPLX或搭载MTP技术的llama.cpp以获得最佳效果。

0 人收藏 0 人点赞
#performance-test

@yoheinakajima:刚在我的手机(17 Pro)上运行了这个

X AI KOLs Following · 2026-07-15 缓存

RunAnywhere 发布了一款设备端 AI 基准测试应用,可让用户直接在自己的手机上测量模型性能,用实时测试取代发布的数据。

0 人收藏 0 人点赞
← 返回首页

提交意见反馈