@DanKornas:微调本地大语言模型不应需要租用云端GPU。Silicon Studio 是一款开源桌面应用,适用于本地大语言模型的……

X AI KOLs Following 工具

摘要

Silicon Studio 是一款开源桌面应用,支持在 Apple Silicon Mac 上使用 MLX 进行本地大语言模型微调和推理,具备数据准备、模型管理和可视化配置等功能。

微调本地大语言模型不应需要租用云端GPU。 Silicon Studio 是一款开源桌面应用,适用于 Apple Silicon Mac 上的本地大语言模型微调和推理。 它能帮助你准备数据、管理模型、使用 MLX 进行微调,并在一个本地工作流中测试结果,而无需拼接多个独立的脚本和笔记本。 主要功能: • 原生 Apple Silicon 路径 – 使用 Apple 的 MLX 框架在 M1/M2/M3/M4 Mac 上进行硬件加速的 LoRA/QLoRA 微调和推理 • 数据准备工作室 – 预览和编辑 JSONL/CSV 数据集,本地去除 PII,并将 CSV 转换为适合对话模板的 JSONL • Hugging Face 模型管理 – 浏览、下载和管理 Llama 3、Mistral、Qwen 2.5、Gemma、Phi 等开源模型 • 可视化微调设置 – 配置学习率、训练轮次、秩及相关参数,无需一直待在配置文件中 • 本地聊天测试 – 在类似 ChatGPT 的界面中切换基础模型和微调适配器,支持私有/离线推理 它是开源的(MIT 许可证)。 回复中的链接
查看原文
查看缓存全文

缓存时间: 2026/05/26 08:49

微调本地大语言模型,无需租用云端 GPU。

Silicon Studio 是一款开源桌面应用,专为 Apple Silicon Mac 设计,支持本地大语言模型微调与推理。

它帮助你在一个本地工作流中完成数据准备、模型管理、基于 MLX 的微调以及结果测试,无需再拼凑零散的脚本和笔记本。

核心功能:

• 原生 Apple Silicon 支持——利用 Apple 的 MLX 框架,在 M1/M2/M3/M4 Mac 上实现硬件加速的 LoRA/QLoRA 微调与推理
• 数据准备工作室——预览和编辑 JSONL/CSV 数据集,在本地脱敏 PII,并将 CSV 转换为适用于聊天模板的 JSONL 格式
• Hugging Face 模型管理——浏览、下载和管理 Llama 3、Mistral、Qwen 2.5、Gemma、Phi 等开源模型
• 可视化微调配置——设置学习率、训练轮数、秩数等相关参数,无需完全依赖配置文件
• 本地聊天测试——在类似 ChatGPT 的界面中切换基础模型和微调后的适配器,支持私有/离线推理

它采用开源许可(MIT 协议)。

链接见回复。

相似文章

jundot/omlx

GitHub Trending (daily)

oMLX 是一个用于在 Apple Silicon Mac 上进行优化 LLM 推理的新开源工具,具备持续批处理和分层 KV 缓存功能,并通过菜单栏应用进行管理。