标签
FlashTrie提出了一种GPU加速的约束束搜索方法用于生成式检索，利用简洁的trie布局和协作式CUDA内核来降低解码延迟，实现大规模实时服务，在商业搜索引擎中实现了高达24倍的加速和0.71%的收入提升。
一位资深AI工程师分享了2026年需要掌握的关键技能，包括：系统性输出阅读、上下文工程、工具描述规范、评估设计、模型路由、提示版本管理、置信度评分、流式响应架构、回退链、延迟预算、故障分类、代理与工作流决策，以及将故障复盘作为作品集内容。
研究人员受Gemma 4 12B启发，仅花费100美元训练了一个无需视觉编码器的视觉语言模型，在M3 Pro MacBook上实现了端到端延迟降低30%。
InfraMind 引入了一个基础设施感知的多智能体大语言模型编排框架，利用强化学习根据实时系统负载动态选择模型和拓扑结构，在高负载下实现了高达 7 倍的延迟降低和 99.9% 的 SLO 达标率。
ObjectCache提出使用S3兼容的对象存储来实现LLM KV缓存的重用，以降低成本并增加容量，同时通过协同设计的存储协议和传输调度将延迟开销降至最低。实验表明，对于64K上下文，相比本地DRAM仅增加5.6%的延迟。
本文介绍了针对代理型计划-执行流水线的时序语义缓存与MCP工作流优化，在缓存命中时实现了高达30.6倍的加速，并在AssetOpsBench工业基准测试上实现了1.67倍的整体加速。
一篇博客文章，详细介绍了如何检测 Snapdragon 在 CI 中的静默 NPU 回退，包括在真实硬件上运行、基于变异系数的门控以及解析 ORT 性能分析 JSON 以识别回退操作等方法。
本文介绍了 BoundaryRouter，这是一个无需训练的框架，通过根据早期经验将查询路由至轻量级推理或完整智能体执行来优化大型语言模型（LLM）智能体的使用。此外，本文还提出了 RouteBench，这是一个用于评估路由性能的基准，显示出在速度和准确率方面的显著提升。