标签
一位用户在 Blackwell MaxQ 显卡上测试了全新的 Ninfer 推理后端,在 qwen3.8-27b-nvfp4 模型上跑出 130-180 t/s 的速度,并发解码时几乎没有减速——他表示并发能力堪比 vLLM,吞吐远超 llama-server,即便是在 Windows 10 上安装之后也是如此。
百度的PaddleOCR现在支持Transformers作为推理后端,使得与Hugging Face生态系统的集成更加容易。
PaddleOCR 3.5 新增了 Transformers 推理后端,使 PP-OCRv5 和 PaddleOCR-VL 1.5 等 OCR 及文档解析模型能够无缝运行于 Hugging Face 生态系统之中。