标签
在 AMD 7900XTX 上优化显存使用的指南,通过编译带有 OpenBLAS 和 CUDA_FA_ALL_QUANTS 的 llama.cpp,并使用 q5_0/q4_0 的 KVCache 量化,以运行使用 Q6K 量化和 131k 上下文的 27B Qwen 模型。
MachinaCheck 是一个构建于 AMD MI300X 硬件之上的多智能体 AI 系统,它利用 Qwen 2.5 7B 模型,实现了对 STEP 文件的 CNC 可制造性分析的自动化。