标签
作者分享了他们在 Strix 设备上运行 Qwen FN 的经验,并与 27B 模型进行了比较。他们认为性能令人印象深刻,但指出两个模型提供类似的能力,导致在个人使用场景中产生饱和感。
M5 ultra AI 测试结果显示,提示处理速度比 M3 ultra 快 4 到 4.5 倍,令牌生成速度快 1.5 倍,但功耗翻倍,风扇噪音增大,温度更高。
Apple的M5 Ultra和M6芯片的基准测试结果显示GPU性能显著提升,其中M5 Ultra在Geekbench上的Metal得分比M3 Ultra高出多达59%,而M6芯片得分比M5高出34%。
smolbenchmark 是一个新资源,可在消费级硬件设备上对小型 AI 模型进行基准测试,提供速度、能效和散热等指标,帮助用户为其特定硬件选择最佳模型。
用户讨论在 Apple 硬件上偏好 Qwen 3.8 27b 和 Qwen Flash Next 模型,比较速度,并询问使用 MLX 和无需推理的框架来提升性能的方法。
本文提供了在 Mac Studio 上本地运行 Qwen3.8 27B AI 模型的实际性能基准测试,将其与前代模型进行比较,并讨论了硬件要求和量化效果。
Lucebox 引擎现在支持在单张 AMD Radeon AI PRO R9700 GPU 上运行 Qwen3.8-27B 模型,使用 DFlash2 drafter 进行无损验证,在代码任务上最高可达 227 tok/s。
一个高度量化的Qwen3.8-27B模型在16 GB Quadro GPU上运行,尽管经历了超过100分钟的广泛推理和调试,仍从零开始成功实现了正确的多层传输矩阵法。
一位用户突出了Buun在优化AI模型方面的工作,实现了在单张3090 GPU上对Qwen 3.6的高速推理,并为Qwen 3.8开发了DFlash2。
Unitree预览了其新型类人机器人‘Superman’,能够进行2米立定跳并以12.66米/秒的速度奔跑,超越了人类记录。