inference-infrastructure

作者通过与几位构建 AI 智能体的开发者交流，总结出批量智能体任务的共同模式（可容忍延迟、无交互、大批量），并指出现有的实时与批量推理 API 均无法很好地满足这类工作负载，尤其是键值缓存命中率问题，导致批量 API 实际上难以节省成本。

作者将在 AI Engineer Paris 大会上发言，介绍 Modal 用于低延迟推理服务的方案。

TamarindBio 已被选中为礼来公司（Eli Lilly）的协作式 AI/ML 药物发现平台 TuneLab 2.0 构建、托管和运营推理基础设施层。