vendor-agnostic

描述了使用 ncnn 的 Vulkan 后端在生产级边缘设备上进行供应商无关的机器学习推理，在人脸检测和嵌入模型上相比 CPU ONNX 实现了 10 倍加速。

Sharon Zhou提出了一个与厂商无关的内核级GPU性能基准测试，旨在帮助AI代理优化前沿模型的计算效率，并以AMD的AgentKernelArena为起点。

本文介绍了去耦搜索接地（DSG）——一种供应商无关的架构，它将搜索检索与LLM推理分离，从而能够对提供商路由、缓存和输出合约进行显式控制。实验表明，DSG在成本降低91%和延迟降低68%的情况下，几乎达到了原生搜索的准确率。