构建与部署AI应用最关键的技能是什么？https://t.co/IyWIKLIzeM

AI工程技能图谱：构建与部署AI应用

此前我曾撰文介绍AI工程技能图谱，其中最高层级技能包括：（一）构建与部署AI应用，（二）软件工程基础，（三）运用编程助手，（四）把握开发方向。本文将深入阐述其中第一项。

精通构建与部署AI应用意味着掌握以下知识体系：

• 大语言模型（LLM）基础原理
• 使用数据对模型进行知识锚定
• 构建智能体系统
• 评估驱动的开发模式
• 生产环境运维
• 机器学习基础

此技能图谱是通过分析海量招聘需求、结构化专家访谈及问卷调查结果归纳形成。

AI应用与传统非AI软件的核心区别在于前者输出结果的不可预测性。我们无法预先知晓大语言模型会生成何种内容，或监督学习算法会作出何种预测。正因这种不确定性，构建AI系统相比传统软件开发更具迭代特性——更难以预先规划完整流程。优秀的AI工程师会反复构建软件模块、审视效果并决定下一步尝试方向，其行动序列高度依赖于中间结果的反馈。善于决策下一步行动的能力，使您能够基于不可靠的AI组件构建可靠的软件系统。这需要掌握：

**大语言模型基础原理。**理解大语言模型如何对输入进行词元化处理并生成输出，能帮助我们判断何时应信赖模型、何时可能出错。同时也能理解何时采用多模态模型、如何权衡上下文窗口的承载内容，并深入考量缓存命中率、知识截止日期、推理强度、采样参数，以及何时使用工具调用等特殊功能。掌握这些基础原理有助于选择合适的模型或模型组合，并在需要时应用专门技术（如微调或自托管模型）。

**数据锚定技术。**大语言模型需要优质的输入上下文才能产生有价值输出。早期通过向量搜索实现的检索增强生成（RAG）为模型提供了相关上下文，但如今的数据锚定技术体系已大幅拓展。例如，我们需要决定哪些内容应直接置于提示词中、哪些应让模型通过工具按需检索，还需选择最适合数据特征和搜索需求的表示形式：是采用向量索引、知识图谱，还是构建结构化数据（如客户记录）的语义层。同时需要将各类文档（文本、PDF、HTML、图像）转换为大语言模型可处理的输入格式，并设计管道确保数据的洁净与新鲜度。掌握丰富的数据获取技术方案，才能为模型提供最相关的上下文。

**智能体系统构建。**智能体系统涵盖从执行预定义LLM调用序列的工作流，到基于智能体运行框架让LLM自主决策下一步操作的动态系统。我们需要选择架构模式——确定哪些步骤应串联执行、哪些可并行处理、何时使用代码逻辑而非LLM介入，并设计具备故障回退机制的工作流或运行框架。在设计智能体循环时，还需确定模型可调用的工具范围（包括MCP、CLI及沙箱执行环境）、选择记忆架构、管理长会话的上下文维持，以及判断任务何时需要多智能体协作而非单一智能体架构。更重要的是将有潜力的原型转化为生产环境中可靠、安全且受控的智能体；这需要理解防护栏机制、对抗性输入，识别并规避关键风险（如数据窃取），以及实施治理管控。

智能体工作流正快速演进，掌握您应用领域相关的前沿技术（如语音智能体、计算机使用智能体或生成式UI）也将带来显著优势。

**评估驱动的开发模式。**根据我的观察，卓越AI工程师最核心的特质在于能否建立严谨的评估/错误分析闭环来推动开发流程。这使您能持续将精力集中于更可能成功的方向。我认为这是项难以掌握的技能，因为最佳实践会因项目而异，甚至随项目阶段动态变化。

构建优质评估体系是项深度技术工作。您需要分析系统运行轨迹和输出结果，开展探索性数据分析，并结合产品与业务洞察来确定评估指标。同时需要掌握多样化的评估工具箱：何时采用确定性（基于代码）的评估、何时使用LLM-as-a-judge、何时引入人类评审，以及如何持续改进评估体系本身。这些评估结果将输入迭代流程，驱动后续开发，使项目进展系统化而非随机化。

**生产环境运维。**AI软件的运维因其不可预测性、成本结构及延迟特性而不同于传统软件。首先需要建立可观测性机制，深入理解系统在真实使用场景下的性能表现。您需要跟踪运行指标、检测模型漂移，并快速响应模型故障与安全事件（如对抗性提示注入攻击）。相较于传统软件，构建回归测试和CI/CD需要更多统计学评估，测试投入应与错误风险等级相匹配。此外，掌握优化成本与延迟的技术组合至关重要——包括模型选型优化、蒸馏与微调、智能体工作流精简等方案，尤其当应用服务大量用户时。

**机器学习基础。**现代大语言模型基于监督学习、强化学习等机器学习技术构建。我所认识的优秀LLM应用工程师都在机器学习与深度学习领域有深厚造诣。此外，许多应用仍需掌握机器学习技术——无论是使用他人训练的模型还是自主训练模型。这要求熟悉主流机器学习与深度学习模型，理解精度、训练速度、推理速度等指标的权衡关系，并掌握训练评估模型所需的数据工程方法。偏差/方差分析、错误分析、数据工程等机器学习核心概念——这些应对不确定输出系统的关键思维框架——在AI系统开发的各种决策中仍至关重要。

成为优秀的AI系统构建与部署专家需要掌握大量知识。这是个技术纵深很强的领域，但每一次学习都会让您更擅长AI工程，构建出更精彩的应用。与这些技能相辅相成的重要领域是软件工程，我将在后续文章中详细探讨。