标签
文章提出 AI 代理工程的三层心智模型——循环(Loop)、控制框架(Harness)、图(Graph),分别解释每层解决什么问题、又会引入哪些新问题,并给出生产环境下的取舍法则:先用强大的控制框架包住紧凑的循环,仅在失败不可接受之处添加图的边。
DeepLearning.AI 宣布举办 AI Dev NYC 大会(11月30日至12月1日,切尔西码头),由 Yann LeCun、吴恩达以及来自 OpenAI、贝莱德、Hugging Face 和 Neo4j 的工程师讲授评估驱动开发、智能体系统构建与生产环境规模化运维等主题。
作者指出 AI 功能在 demo 阶段表现优异却在生产环境中失灵的常见原因:示例是由人工挑选的理想输入。建议在写第一个 prompt 前先收集 50-100 个真实(尤其是糟糕的)输入并定义理想答案,用作回归评测集。
GuardrailX 的联合创始人分享了如何通过在代理框架与 LLM 供应商之间加入代理网关,实现自动循环检测、语义路由和 LLM-as-a-Judge 质量评估,并展示了基于 3,500 多条生产请求日志得出的约 54% 成本削减数据。
论文提出 CoCoEvolve(CortexCodeEvolve),一种基于"元反思"的进化优化器,通过从完整搜索历史中检索证据并主动探测目标环境来改进生产级 AI 系统的优化,在 DABStep、data-eng-bench 等多个基准上超越现有基线。
一份用通俗语言撰写、并附有来源支撑的 LLM 评测指南:如何围绕输入、标准答案(gold answer)与评分器(grader)搭建可复现的评测闭环;为何未经校验的评判模型(judge model)是 AI 团队最常见的一种自我欺骗方式;以及如何为代码评分与模型评分(针对检索系统和智能体系统)给出带误差范围的可信数据。
这条推文介绍了一种用于AI开发的标准化技能脚手架模板,旨在确保一致的文件夹结构,减少CI中断,并通过关键组件如合同文件和测试夹具来加速审查流程。
文章强调,由于系统复杂性,模型基准测试无法准确评估生产环境中的智能体,并介绍了Apodex的TRACES以进行更全面的评估,引用了一篇研究论文。
本文介绍Cargo框架,用于评估智能体AI系统。该框架通过将事实判断基于实时上下文并基于检索置信度对评估进行门控,以解决参考实例分歧问题,并引入用于基准测试的Cargo-Bench。
作者在Jev发布后收集了607个AI代理用例,强调演示和生产就绪应用之间的区别,并建立了ShipWithJev.com来编目这些用例。
这篇文章讨论了多智能体系统缺乏生产级通信层的问题,批评了当前解决方案如Kafka、Redis和智能体框架的不足,并寻求社区对替代方案的输入。
这篇文章描述了一种实用方法,通过使用令牌概率来微调大语言模型,将其作为校准分类器,从而以最小的计算资源实现具有成本效益的分类任务。
本文讨论了在AI工作流程中处理模型错误的重要性,指出在生产环境中,处理AI不确定或错误的情况与任务本身同样关键。
本文探讨了生产环境AI智能体中上下文压缩与提示缓存之间的权衡,提出使用子代理作为策略,以保持缓存效率并减少上下文污染。
SGLang 是 LMSYS 开源的高性能推理服务框架,通过 RadixAttention 技术实现 KV Cache 复用,支持多种硬件和模型,并在生产环境中广泛应用。
这篇文章讨论了推理延迟如何成为生产环境 AI 代理的关键瓶颈,并探讨了 NVIDIA 的 Groq 3 LPX 作为针对智能体工作负载低延迟推理的新发展。
这篇文章强调,在AI代理中,框架——包括工具、上下文、控制和工作流——对于实现可靠、安全和可追溯的结果比模型更为关键。
本文介绍了Forge '26,这是Fireworks AI举办的一场专注于专用智能和AI工程技能的会议,主要演讲嘉宾来自NVIDIA和Microsoft。