qwen-model

标签

Cards List
#qwen-model

训练AI用代码绘画

Hacker News Top · 11小时前 缓存

一个利用强化学习训练语言模型通过编写可编辑代码生成图像的研究项目,针对创意任务中的奖励函数和系统提示演进挑战提出了解决方案。

0 人收藏 0 人点赞
#qwen-model

### 基准测试结果:在macOS上运行Qwen3.8-27B的最佳且最快的引擎是什么? 目前尚未有官方或广泛认可的基准测试明确指出运行 **Qwen3.8-27B**(假设为27B参数模型)在macOS上性能最优的引擎。实际性能高度依赖于以下因素: 1. **硬件配置**:特别是Mac芯片型号(M1/M2/M3/M4 Pro/Max/Ultra)、统一内存容量和速度。 2. **模型量化格式**:使用的GGUF/GGML量化级别(如Q4_K_M, Q8_0等)显著影响速度和内存占用。 3. **引擎版本与优化**:引擎的编译优化、对Apple Silicon的Metal/Vulkan后端支持程度。 **不过,基于社区普遍反馈和当前技术栈,以下引擎通常被认为在macOS上运行大型语言模型表现出色:** #### 1. **llama.cpp(及其衍生版本)** - **优势**:高度优化,原生支持Apple Silicon的**Metal**加速,性能卓越。是macOS上运行量化模型(GGUF格式)的**事实标准**。 - **推荐**:使用最新版本的 `llama.cpp`,并在编译时启用Metal后端。其子项目 `llama-ggml-metal` 性能强劲。 - **运行方式**:通常通过命令行工具(如 `llama-cli`, `llama-server`)运行。 #### 2. **MLX** - **优势**:由Apple团队开发的**专为Apple Silicon优化的机器学习框架**。能原生利用芯片的统一内存和GPU,理论上能实现最佳性能和内存效率。 - **现状**:对部分模型有良好支持,但生态和模型兼容性(尤其是GGUF格式)相比llama.cpp可能稍逊。需确认Qwen3.8-27B是否有适配MLX的版本。 - **推荐**:如果MLX版本可用且性能良好,它很可能是**“最快”** 的选择。 #### 3. **LM Studio** - **优势**:提供开箱即用的图形界面,底层集成了`llama.cpp`等引擎,并进行了优化配置。对用户友好,性能也十分优秀。 - **推荐**:适合希望便捷管理模型和参数,并快速获得良好性能的用户。 **如何自行寻找“最佳”答案?** 由于缺乏统一基准,最可靠的方法是**自己测试**: 1. **下载引擎**:获取最新版本的 `llama.cpp`(带Metal)、 `MLX` 相关推理工具,或 `LM Studio`。 2. **准备模型**:下载适用于你目标引擎的 `Qwen3.8-27B` 量化文件(例如GGUF格式)。 3. **进行基准测试**: - **速度**:测量生成速度(tokens/秒)。 - **内存**:观察内存占用峰值。 - **稳定性**:确保运行稳定。 4. **调整参数**:在每种引擎中调整上下文长度(`-c`)等参数,找到平衡点。 **结论建议:** - **追求极致性能与兼容性**:首选 **llama.cpp**(确保启用Metal)。 - **追求Apple生态原生与潜在最优效率**:尝试 **MLX**,但需先确认模型支持。 - **追求便捷性与高性能的平衡**:选择 **LM Studio**。 请记住,27B参数的模型即使量化后,也需要 **32GB 或更多统一内存** 的Mac才能流畅运行。请根据你的具体硬件进行选择和测试。

Reddit r/LocalLLaMA · 14小时前

本文对macOS上运行通义千问Qwen 3.8 27B模型的各类引擎进行了基准测试,比较了其在智能体编程任务中的速度与性能表现,并推荐使用MTPLX或搭载MTP技术的llama.cpp以获得最佳效果。

0 人收藏 0 人点赞
#qwen-model

@rohanpaul_ai:阿里巴巴在季度资本支出因AI建设接近100亿美元后,寻求通过股票出售筹集102亿美元。表示将把100%的净收益用于AI能力发展……

X AI KOLs Timeline · 16小时前 缓存

阿里巴巴寻求通过股票出售筹集102亿美元,以资助AI基础设施扩张,这标志着其资本优先方向向AI能力的重大转变。

0 人收藏 0 人点赞
#qwen-model

@wherecall1: 3060 12G 跑 Qwen3.8-27B-Unleashed(无审查)安装踩坑记录,每个坑都标了解法,照着做即可复现。 ① 选版本 仓库:outsourc-e/Qwen3.8-27B-Unleashed-GGUF,9 个量化档。306…

X AI KOLs Timeline · 昨天 缓存

本文提供了在3060 12G显卡上运行Qwen3.8-27B-Unleashed模型的详细安装指南,涵盖版本选择、下载问题和启动配置,并总结了常见错误的解决方法。

0 人收藏 0 人点赞
#qwen-model

@TeksEdge:一位本地性能达人仅用单张RTX 3090运行Qwen3.8-27B,达到约381 tok/s。这位开发者将24GB的RTX 3090变成了一个mo…

X AI KOLs Timeline · 3天前 缓存

一位开发者通过使用DFlash2和前缀缓存等优化技术,在单张RTX 3090上运行Qwen3.8-27B模型,实现了高达381 tok/s的推理速度,特别适用于RAG和编程助手等文档相关任务。

0 人收藏 0 人点赞
#qwen-model

@AlexFinn: 这太吓人了。我在Mac上下载了一个无审查版的Qwen 3.8 27B。它简直可以做你想做的任何事。第一…

X AI KOLs Timeline · 3天前 缓存

作者表达了对无审查AI模型如Qwen 3.8 27B易于获取的担忧,并质疑在开源进步面前安全法规的有效性。

0 人收藏 0 人点赞
#qwen-model

Qwen 3.8 进入大学。ACT 得分 34

Reddit r/AI_Agents · 3天前

一项实验测试了 Qwen 3.8 27B AI 模型在使用视觉能力进行 ACT 模拟考试时的表现,取得了 34-36 分的高综合分,展示了在标准化测试中的强大性能。

0 人收藏 0 人点赞
#qwen-model

我测量了上次本地代理帖子中本子版块用户提出的三项主张。你们中有一位的预测超越了我自己的假设。学习一切而非知晓一切的规则

Reddit r/AI_Agents · 4天前

用户测试了使用Qwen 27B模型扩展本地AI代理,发现由于内存带宽限制,添加更多代理仅能将吞吐量提高到一定程度,且长提示从并行中获益更多。

0 人收藏 0 人点赞
#qwen-model

我测试了2个本地代理是否并行运行还是轮流使用1个模型。批处理是真实的,但使用QWEN 3.8 27B 4bit在MacBook Pro M3Max 128GB统一内存40核GPU上并非没有代价

Reddit r/AI_Agents · 5天前

作者在MacBook Pro M3Max上使用QWEN 3.8 27B 4bit模型进行了两个本地代理并行运行的实验,发现批处理可以实现并发执行,但会增加延迟,最佳代理数约为4个。

0 人收藏 0 人点赞
#qwen-model

价值100美元的GPU以7.39 t/s运行Qwen 3.8 27b模型

Reddit r/LocalLLaMA · 6天前

一位用户演示在两张RX 580 GPU上运行量化为Q3_K_M的Qwen 27b AI模型,使用价值低于100美元的旧DDR3硬件,达到7.39 tokens/秒的性能。

0 人收藏 0 人点赞
#qwen-model

这里有多少人拥有24GB以上的GPU?

Reddit r/LocalLLaMA · 2026-08-16

作者基于下载次数讨论了qwen 3.8 27b模型的低采用率,并估计很少有用户拥有用于高效本地LLM开发的高显存GPU。

0 人收藏 0 人点赞
#qwen-model

您推荐哪种用于本地编码的工具套件(Qwen 3.8 27b)?

Reddit r/LocalLLaMA · 2026-08-15

一项社区投票,寻求针对 Qwen 3.8 27b AI 模型本地编码的具体工具套件推荐。

0 人收藏 0 人点赞
#qwen-model

修复并优化 Qwen 3.8 的 Jinja 聊天模板

Reddit r/LocalLLaMA · 2026-08-14

本文详细介绍了针对 Qwen 3.8 模型的 Jinja 聊天模板的改进,修正了先前版本中的问题,以确保输出质量和基准性能的一致性。

0 人收藏 0 人点赞
#qwen-model

走向包容性移动建模:城市系统中老年人轨迹模式的特征化与评估

arXiv cs.AI · 2026-07-01 缓存

本文使用泽西城的Citi Bike数据,研究了移动数据集中老年骑行者代表性不足如何引入移动建模的系统性偏差。结果表明,在多数主导群体上训练的模型会误报老年人的移动行为,且在有限的人口数据下,能力更强的模型并不一定能提高子群体的保真度。

0 人收藏 0 人点赞
#qwen-model

7900XTX 24GB 显存,终于能够在 131k 上下文下容纳 Q6K+MTP 和 Qwen 3.6 27B

Reddit r/LocalLLaMA · 2026-06-20

在 AMD 7900XTX 上优化显存使用的指南,通过编译带有 OpenBLAS 和 CUDA_FA_ALL_QUANTS 的 llama.cpp,并使用 q5_0/q4_0 的 KVCache 量化,以运行使用 Q6K 量化和 131k 上下文的 27B Qwen 模型。

0 人收藏 0 人点赞
#qwen-model

MachinaCheck:在 AMD MI300X 上构建多智能体 CNC 可制造性系统

Hugging Face Blog · 2026-05-10 缓存

MachinaCheck 是一个构建于 AMD MI300X 硬件之上的多智能体 AI 系统,它利用 Qwen 2.5 7B 模型,实现了对 STEP 文件的 CNC 可制造性分析的自动化。

0 人收藏 0 人点赞
← 返回首页

提交意见反馈