inference-benchmarks

Nous Research 宣布为 Hermes Agent 集成 Stripe，使 AI 代理能够直接购买专业版计划并配置服务，且具有可配置的安全限制。

技术基准测试，比较 ROCm 和 Vulkan 后端在 Strix Halo 硬件上运行 LLM 推理的性能，MTP 合并到 llama.cpp 之后，结果显示 ROCm 在全上下文时性能严重下降，而 Vulkan 保持稳定。

一位用户在12GB的RTX 3060上对Qwen 35B-A3B（一个35B参数的MoE模型）进行了基准测试，发现12GB显存是运行该模型并支持32k上下文时的实用甜点区，生成速度可达约47 token/秒。