标签
本文详细介绍了使Xen的dom0 I/O路径具备NUMA感知能力的过程,包括内存放置和拓扑合成的修复,这是关于Xen虚拟机监控器NUMA优化系列的一部分。
本文解释了非统一内存访问(NUMA)的概念、历史背景以及它在多插槽服务器上对性能的影响,同时介绍了Edera在使基于Xen的虚拟化实现端到端NUMA感知方面所做的工作。
一位开发者复刻了 ik_llama.cpp,添加了 '--numa mirror' 模式,该模式在 NUMA 节点间复制模型权重和 KV 缓存,以最大化多路 CPU 推理性能,并分享了基准测试结果,寻求测试者。