mlx

一条推文批评了MLX的优化，指出Apple存在软件问题而非硬件问题，这是基于M5 Ultra Macs的性能测试得出的。

Jun Kim, oMLX 的创建者，加入 Hugging Face 以支持 MLX 社区，提升在 Apple Silicon 上本地 AI 的稳定性和开发。

Laya-MLX是一个开源工具，用于在Apple Silicon上本地运行类型化决策AI模型，具有低延迟，提供无需云API的原生推理。它包括基准测试，显示在M3 Max等设备上的快速性能。

介绍laya-mlx，这是一个使用MLX优化的开源分类系统，适用于Apple Silicon，提供比Jev快50倍的性能，最大内存使用仅1G，并通过实时贪吃蛇游戏演示进行展示。

发布 Ternary-Bonsai-2-27B-gguf，一款 27B 参数的语言模型，采用三元权重实现极端压缩（5.9 GB），同时保留 98.2% 的 FP16 精度性能，并针对笔记本电脑和单 GPU 的高效推理进行优化。

这是一个基于 Apple Silicon 和 MLX 的高吞吐量推理引擎，专用于结构化信息提取，支持并行约束解码，可将延迟降低 5.6 至 7.0 倍，并实现 100% 的模式有效性。

NVIDIA Cosmos3，一个64B参数的图像生成模型，发布了INT4量化版本，支持在CUDA和MLX上本地部署，代码和权重可用，并在Apple Silicon上展示了性能。

一位作者改进了 M3 Ultra Studio 上的 MLX 性能，使 4 位量化的 Qwen3.8-Flash-Next 模型达到 73 tok/s，其智能评分与 GPT-5.6 Sol 相当，凸显了本地 AI 日益增长的潜力。

用户讨论在 Apple 硬件上偏好 Qwen 3.8 27b 和 Qwen Flash Next 模型，比较速度，并询问使用 MLX 和无需推理的框架来提升性能的方法。

一名用户质疑MLX在Apple M5芯片上的相关性，因为llama.cpp的Metal更新提升了GGUF模型的预填充性能，使得MLX在某些任务上可能变得冗余。

本文对Qwen3.8-Flash-Next模型进行了基准测试，显示其在个人基准测试中突破了94%，并比较了其在编程、通用知识和科学方面与其他模型的性能。

讨论比较了CUDA与MLX在Apple的M5 Ultra Mac Studio背景下的成熟度，强调需要竞争来优化本地AI硬件，这可能使Apple超越NVIDIA。

Ornith 1.5 9B Abliterated 是一个实验性的 MLX 衍生版本，现已推出适用于 Apple Silicon 的 4 位、8 位和 BF16 构建版本。其设计旨在减少不必要的拒绝行为，同时保持其能力，以供研究和合法的本地使用。

LFM2.5 DSpark by liquidai 已集成到 mlx-vlm v0.6.16 中，使 M5 Max 上的推测解码速度提升高达 3.7×，且输出零漂移，用于设备端视觉语言模型推理。

Qwen3.8 27B AI 模型现在可以在 Mac 上完全无审查地运行，没有内置的安全护栏，会遵从有害请求，并且有多种量化格式可用。

这是一个使用 Apple MLX 在 iPad 上本地运行 Gemma 4 E4B AI 模型的演示，被展示为一个适合儿童的有趣应用。

Qwen3.8-27B 无审查版本发布，专为 Mac M 芯片优化，支持本地部署，保留多模态能力和安全研究功能，提供简化安装步骤。

这是一个针对 Apple Silicon 量化的 Qwen Qwen3.8-27B 模型的无审查 MLX 构建，移除了安全对齐用于研究目的。

Qwen MLX 挑战赛是一项在 Apple Silicon 上对 AI 模型进行基准测试的比赛，鼓励在验证过程中提供官方分数并进行本地迭代。

用户表示准备使用 Qwen 3.8 27b 模型，现在 Ollama 直接支持 Mac 的 MLX，使用起来很舒适。