@no_stp_on_snek: 小步前进。昨晚朋友远程进行的AMD开发:https://github.com/Avarok-Cybersecurity/atlas/pull/1107……
摘要
远程开发已为Atlas LLM推理引擎添加了AMD R9700(RDNA 4)支持,使其能够在硬件上运行像Qwen3.8-27B和Ornith-9B这样的模型。
查看缓存全文
缓存时间: 2026/09/17 20:27
纯Rust大语言模型推理,从掌上设备到数据中心机架。
网站 · 文档 · 博客 · Discord · 部署指南
atlascybernetics.ai · docs.atlascybernetics.ai · blog.atlascybernetics.ai
相似文章
@no_stp_on_snek: 进行中
推广 Atlas Inference,这是一个开源推理服务工具,在 Qwen3.6-35B-A3B 基准测试上实现了 200+ tok/s 的性能。
@no_stp_on_snek: 过去几天一直在借来的 Strix Halo(Ryzen AI… 上帮 @Italianclownz 加速他的 llama.cpp 分支 ROCmFPX
开发者帮助优化了 llama.cpp 的分支 ROCmFPX 在 AMD Strix Halo(Ryzen AI Max+ 395)上的运行速度,通过合并 16 个 PR,大幅提升了预填充和解码速度,并提高了量化精度。
@leopardracer: https://x.com/leopardracer/status/2055341758523883631
一位用户分享了他们搭建双GPU本地AI实验室的经验,使用了RTX 4080 Super和5060 Ti,通过llama.cpp和llama-swap运行Qwen 3.6模型,以降低API成本并实现无限制的实验。
@no_stp_on_snek: 提醒一下,自8月30日起已在Atlas主线测试DFlash2。:) https://github.com/Avarok-Cybersecurity/atlas-re…
文章宣布了DFlash2在Atlas上的测试,并详细介绍了atlasctl,这是一个用于在NVIDIA DGX Spark系统上部署和运行LLM推理模型的命令行工具。
@no_stp_on_snek: AI 实验室厨房今早正热火朝天地开工。M5 Max 128 - 正在打磨 qwen 3.8 27b 的速度 5090 - 在推进 gemma 31b 集成
开发者更新其实验室硬件配置:在 5090 上打磨 Qwen 3.8 的速度,并在 RTX 5090、3090、9070 XT 以及各类 Apple Silicon 机器上集成 Gemma(31b/26b/14b/12b)模型,进行本地推理测试。