标签
NVIDIA recsys-examples 现已通过 Dynamo-Triton 提供端到端的 HSTU 生成式推荐推理工作流，结合 PyTorch AOTI 编译与 FlexKV 支持的 KV 缓存，在 RTX PRO 6000 Blackwell GPU 上实现了最高 5.93 倍的延迟降低。
本文介绍了如何在Databricks平台上使用SQL运行开源决策模型SemIf-OpenJev，实现数据不出平台即可调用模型进行批量处理。
本文认为，vLLM及类似的服务框架由于设计限制，在单个GPU上运行多个小型AI模型时效率低下。它介绍了SIE开源推理引擎，作为同时服务多个模型以降低成本的一种解决方案。
这篇文章展示了如何在Hugging Face Jobs上将百度的Unlimited-OCR模型作为临时的、兼容OpenAI的端点提供服务，支持多页文档解析，具有表格转HTML和公式转LaTeX提取等功能。