egpu

标签

Cards List
#egpu

花了3天在搭载40GB显存笔记本+TB4外置显卡的独特组合上,对llama.cpp的各类标志参数进行基准测试。最终实现:生成速度提升70%、预填充速度提升40%、上下文容量增加6万token,并向llama项目提交了关于MTP的技术问题报告。以下是实践中的关键发现。

Reddit r/LocalLLaMA · 4天前

作者在配备RTX 4090笔记本显卡和AMD XTX 7900外置显卡的混合GPU环境中对llama.cpp运行参数进行了基准测试,实现了生成速度提升70%、预填充速度提升40%,并在多GPU配置中发现了一个与MTP相关的错误。

0 人收藏 0 人点赞
#egpu

新款Strix Halo主机:GMKtec EVO-X3,卓越散热防止降频,售价3600美元

Reddit r/LocalLLaMA · 2026-07-06

GMKtec推出EVO-X3迷你PC,搭载AMD Ryzen AI Max 395处理器,配备先进散热、USB4及OCuLink接口(支持外接显卡),售价3600美元。

0 人收藏 0 人点赞
#egpu

为最大化StrixHalo性能而折腾(+NVLink双eGPU 3090改造)

Reddit r/LocalLLaMA · 2026-05-22

用户详细介绍了对配备双RTX 3090 eGPU和NVLink的AMD Strix Halo系统进行改造和基准测试的过程,发现对密集模型的LLM推理速度有所提升,尤其是使用vLLM时,并讨论了能效权衡。

0 人收藏 0 人点赞
#egpu

你可以在Apple Silicon Mac上通过PCI穿透进行CUDA推理

Reddit r/LocalLLaMA · 2026-05-08 缓存

本文探讨了通过Thunderbolt在Apple Silicon Mac上使用外部NVIDIA RTX 5090 GPU进行CUDA推理和游戏的可行性,涵盖了tinygrad eGPU驱动以及向Linux虚拟机进行PCI穿透等方法。

0 人收藏 0 人点赞
← 返回首页

提交意见反馈