tensor-parallel

运行本地AI模型的硬件提示：将两块GPU作为独立实例使用比通过PCIe用Tensor-Parallel连接起来更快，后者比单独一张卡慢了23%。Tensor-Parallel仅对一张GPU无法容纳的模型有益。