标签
作者在配备RTX 4090笔记本显卡和AMD XTX 7900外置显卡的混合GPU环境中对llama.cpp运行参数进行了基准测试,实现了生成速度提升70%、预填充速度提升40%,并在多GPU配置中发现了一个与MTP相关的错误。
GMKtec推出EVO-X3迷你PC,搭载AMD Ryzen AI Max 395处理器,配备先进散热、USB4及OCuLink接口(支持外接显卡),售价3600美元。
用户详细介绍了对配备双RTX 3090 eGPU和NVLink的AMD Strix Halo系统进行改造和基准测试的过程,发现对密集模型的LLM推理速度有所提升,尤其是使用vLLM时,并讨论了能效权衡。
本文探讨了通过Thunderbolt在Apple Silicon Mac上使用外部NVIDIA RTX 5090 GPU进行CUDA推理和游戏的可行性,涵盖了tinygrad eGPU驱动以及向Linux虚拟机进行PCI穿透等方法。