@amitiitbhu：AI工程面试题与答案 - LLM基础 - 提示工程 - 检索增强生成…

X AI KOLs Timeline 工具
ai-engineering interview-questions llm prompt-engineering rag fine-tuning agentic-ai

摘要

Amit Shekhar 发布了一个全面的开源 AI 工程面试题与答案仓库，涵盖 LLM 基础、提示工程、RAG、AI 智能体、微调、向量数据库、LLMOps 等内容。

AI 工程面试题与答案 - LLM 基础 - 提示工程 - 检索增强生成（RAG） - AI 智能体与智能体系统 - 微调与模型适配 - 向量数据库与嵌入 - AI 系统设计 - LLMOps 与生产级 AI - 评估与测试 - AI 安全、伦理与负责任 AI - 多模态 AI - AI 基础设施与可扩展性 - 编码与实际实现 - 行为与场景类问题 在此学习：https://github.com/amitshekhariitbhu/ai-engineering-interview-questions…
查看原文
查看缓存全文

缓存时间: 2026/08/04 06:02

AI 工程面试题与答案

AI 工程面试题与答案——你的 AI 工程面试速查手册

这些面试题与答案对以下职位有帮助：

  • AI 工程师（AI Engineer）
  • 生成式 AI 工程师（Gen AI Engineer）
  • 大语言模型工程师（LLM Engineer）
  • 智能体 AI 工程师（Agentic AI Engineer）
  • AI 智能体工程师（AI Agent Engineer）
  • 前向部署工程师（Forward Deployed Engineer）
  • AI 解决方案架构师（AI Solutions Architect）
  • AI 平台工程师（AI Platform Engineer）
  • 应用 AI 工程师（Applied AI Engineer）
  • MLOps 工程师
  • LLMOps 工程师

目录

由 Outcome School（https://outcomeschool.com）创始人 Amit Shekhar 编写与维护

关注 Amit Shekhar

  • X/Twitter（https://twitter.com/amitiitbhu）
  • LinkedIn（https://www.linkedin.com/in/amit-shekhar-iitbhu）
  • GitHub（https://github.com/amitshekhariitbhu）

关注 Outcome School

  • YouTube（https://youtube.com/@OutcomeSchool）
  • X/Twitter（https://x.com/outcome_school）
  • LinkedIn（https://www.linkedin.com/company/outcomeschool）
  • GitHub（http://github.com/OutcomeSchool）

我在 Outcome School 教授

  • AI 与机器学习（https://outcomeschool.com/program/ai-and-machine-learning）

注意：我们将持续更新，不断添加新的问题与答案。

必备知识

  • LLM
  • RAG
  • MCP
  • Agent（智能体）
  • Fine-tuning（微调）
  • Quantization（量化）

了解 LLM、RAG、MCP、Agent、微调和量化： AI 工程详解：LLM、RAG、MCP、Agent、微调、量化（https://www.youtube.com/watch?v=lnfWvX66FUk）

LLM 基础知识

  • 什么是基础模型（Foundation Models）？它们如何改变了 AI 工程？

  • 答案：在此视频中讲解：AI 工程详解：LLM、RAG、MCP、Agent、微调、量化（https://www.youtube.com/watch?v=lnfWvX66FUk）

  • 什么是大语言模型（LLM）？它是如何工作的？

  • 答案：在此视频中讲解：AI 工程详解：LLM、RAG、MCP、Agent、微调、量化（https://www.youtube.com/watch?v=lnfWvX66FUk）

  • ChatGPT 内部：按下回车键后会发生什么？

  • 答案：ChatGPT 内部：按下回车键后会发生什么（https://outcomeschool.substack.com/p/inside-chatgpt-what-happens-after）

  • 什么是 Transformer 架构？它是如何工作的？

  • 答案：解读 Transformer 架构（https://outcomeschool.com/blog/decoding-transformer-architecture）

  • Transformer 架构的关键组件有哪些？

  • 答案：解读 Transformer 架构（https://outcomeschool.com/blog/decoding-transformer-architecture）

  • 什么是 LLM 中的分词（Tokenization）？

  • 答案：大语言模型（LLM）中的分词（https://www.youtube.com/watch?v=sK2s9I84EVI）

  • 解释 BPE（字节对编码）。

  • 答案：字节对编码（https://outcomeschool.com/blog/bpe-in-llms）

  • 解释 WordPiece 和 SentencePiece。

  • 什么是位置编码（Positional Encoding）？为什么 Transformer 需要它？

  • 答案：LLM 中的位置嵌入（https://outcomeschool.substack.com/p/positional-embeddings-in-llms）

  • 什么是嵌入（Embeddings）？

  • 答案：机器学习中的嵌入（https://www.youtube.com/watch?v=LedXW6xl21s）

  • 解释注意力机制中的查询（Q）、键（K）和值（V）。

  • 答案：注意力背后的数学——Q、K 和 V（https://outcomeschool.com/blog/math-behind-attention-qkv）

  • 什么是自注意力（Self-Attention）？它在 Transformer 中是如何工作的？

  • 答案：Transformer 中的自注意力（https://outcomeschool.com/blog/self-attention-in-transformers）

  • 什么是 Transformer 中的交叉注意力（Cross Attention）？

  • 答案：Transformer 中的交叉注意力（https://outcomeschool.com/blog/cross-attention-in-transformers）

  • 为什么在 Transformer 架构中要将点积注意力除以 √dk？

  • 答案：注意力中 √dk 缩放因子背后的数学（https://outcomeschool.com/blog/scaling-dot-product-attention）

  • 什么是因果掩码（Causal Masking）？

  • 答案：注意力中的因果掩码（https://outcomeschool.com/blog/causal-masking-in-attention）

  • 什么是多头注意力机制？为什么要使用多个注意力头？

  • 答案：Transformer 中的多头注意力（https://outcomeschool.com/blog/multi-head-attention-in-transformers）

  • 什么是 LLM 中的前馈网络（Feed-Forward Networks）？

  • 答案：LLM 中的前馈网络（https://outcomeschool.com/blog/feed-forward-networks-in-llms）

  • 什么是 LLM 中的上下文窗口（Context Window）？为什么它很重要？

  • 答案：LLM 中的上下文窗口（https://www.linkedin.com/posts/amit-shekhar-iitbhu_the-context-window-is-the-llms-working-memory-activity-7437754426175672320-MH9c）

  • 为什么 LLM 的上下文窗口是有限的？

  • 答案：为什么 LLM 的上下文窗口是有限的？（https://www.youtube.com/watch?v=CGIhxIaOg3M&lc）

  • 在 LLM 中，温度（Temperature）是什么？它如何影响输出？

  • 答案：在 LLM 中，温度是什么？（https://x.com/amitiitbhu/status/1964990603927687493）

  • 为什么 LLM 中第一个 token 比其他 token 慢？

  • 答案：LLM 中的首 token 延迟问题（https://www.youtube.com/watch?v=XD8DD4cEHu0）

  • 解释 Top-p（核）采样和 Top-k 采样。它们有何不同？

  • 什么是 logits？它们在文本生成中如何使用？

  • 答案：理解机器学习中的 Logits（https://x.com/amitiitbhu/status/1927927814923207146）

  • 什么是 Transformer 中的跳跃连接（残差连接）？

  • 答案：Transformer 中的跳跃连接（残差连接）（https://www.linkedin.com/posts/amit-shekhar-iitbhu_machinelearning-llm-deeplearning-share-7414239846707392512-pQdQ）

  • 开源 LLM 和闭源 LLM 有什么区别？你会在什么情况下选择其中一个而不是另一个？

  • 仅编码器（Encoder-only）、仅解码器（Decoder-only）和编码器-解码器（Encoder-Decoder）Transformer 架构有什么区别？

  • 答案：解读 Transformer 架构（https://outcomeschool.com/blog/decoding-transformer-architecture）

  • 什么是 KV 缓存？它如何加速推理？

  • 答案：什么是 LLM 中的 KV 缓存？（https://outcomeschool.com/blog/kv-cache-in-llms）

  • 什么是模型蒸馏（Model Distillation）？它在 LLM 中如何应用？

  • 答案：知识蒸馏是如何工作的？（https://outcomeschool.com/blog/how-does-knowledge-distillation-work）

  • 什么是混合专家（Mixture of Experts，MoE）？它在 Mixtral 等模型中是如何工作的？

  • 答案：混合专家详解（https://outcomeschool.com/blog/mixture-of-experts）

  • 密集模型（Dense Models）和稀疏模型（Sparse Models）有什么区别？

  • 答案：混合专家详解（https://outcomeschool.com/blog/mixture-of-experts）

  • 什么是 Flash Attention？

  • 答案：解读 LLM 中的 Flash Attention（https://outcomeschool.com/blog/decoding-flash-attention）

  • 什么是交叉熵损失（Cross-Entropy Loss）？

  • 答案：交叉熵损失背后的数学（https://outcomeschool.com/blog/math-behind-cross-entropy-loss）

  • 什么是分组查询注意力（Grouped-Query Attention，GQA）？它与多头注意力（MHA）有何不同？

  • 答案：分组查询注意力（https://outcomeschool.com/blog/grouped-query-attention）

  • 旋转位置编码（RoPE）是如何工作的？为什么它比学习式位置嵌入更受青睐？

  • 答案：RoPE（旋转位置编码）背后的数学（https://outcomeschool.com/blog/math-behind-rope-rotary-position-embedding）

  • 解释层归一化（Layer Normalization）

  • 答案：批归一化与层归一化（https://outcomeschool.com/blog/batch-normalization-vs-layer-normalization）

  • 解释 RMSNorm（均方根层归一化）

  • 答案：RMSNorm（均方根层归一化）（https://outcomeschool.com/blog/rmsnorm-root-mean-square-layer-normalization）

  • 你的 LLM 总是忽略你的指令。你如何让它遵循结构化输出格式？

  • 你的 LLM 驱动的工具在处理长文档时达到了上下文窗口上限。你如何处理？

  • 你的 LLM 在自己不知道答案时不承认。你如何让它说“我不知道“？

  • 你的 LLM 生成的回复过于冗长。你如何控制回复长度？

  • 你的 LLM 记住了专有训练数据并在回复中泄露出来。你如何防止这种情况？

  • 你的 LLM 编程助手生成了使用已弃用库的过时代码。你如何修复？

  • 你的分词器将重要的领域术语拆分成无意义的子词片段。你如何修复？

  • 在长序列生成过程中，你的 Transformer 的 KV 缓存变得过大。你如何管理内存？

  • 答案：LLM 中的分页注意力（Paged Attention）（https://outcomeschool.com/blog/paged-attention-in-llms）

  • 由于二次方复杂度的自注意力，你的 Transformer 在处理长文档时内存不足。你如何扩展它？

  • 你的蒸馏学生模型在教师模型能够处理的复杂推理任务上失败了。你如何缩小差距？

  • 经过 RLHF 对齐后，你的 LLM 变得更安全，但在困难任务上失去了能力。你如何管理对齐税（Alignment Tax）？

  • 你的经过 RLHF 训练的 LLM 在玩弄奖励模型，而不是真正提供帮助。你如何修复奖励黑客（Reward Hacking）？

  • 答案：基于人类反馈的强化学习（RLHF）（https://outcomeschool.com/blog/reinforcement-learning-from-human-feedback-rlhf）

  • 你的聊天机器人在对话进行 10 轮后丢失了上下文。你如何维持长对话上下文？

  • 答案：AI 智能体记忆（https://outcomeschool.com/blog/ai-agent-memory）

  • 当用户在对话中途切换话题时，你的聊天机器人会失败。你如何处理话题切换？

  • 即使上下文中不存在答案，你的问答系统也总是生成答案。你如何检测无法回答的问题？

  • 你的摘要系统幻觉出了原文中没有的事实。你如何修复？

  • 你的文本生成在长输出中重复短语。你如何修复重复问题？

  • Transformer 处理文本，那么它们也能理解图像吗？

  • 答案：解读 Vision Transformer（ViT）（https://outcomeschool.com/blog/decoding-vision-transformer-vit）

  • 小语言模型（SLMs）

  • 答案：小语言模型（SLMs）（https://outcomeschool.com/blog/small-language-models-slms）

  • 大型推理模型（LRMs）

  • 答案：大型推理模型（LRMs）（https://outcomeschool.com/blog/large-reasoning-models）

  • 什么是自回归模型（Autoregressive Models）？

  • 答案：自回归模型（https://outcomeschool.com/blog/autoregressive-models）

  • 解释自回归语言建模和掩码语言建模之间的区别。

  • 近端策略优化（PPO）

  • 答案：近端策略优化（PPO）（https://outcomeschool.com/blog/proximal-policy-optimization-ppo）

  • 直接偏好优化（DPO）

  • 答案：直接偏好优化（DPO）（https://outcomeschool.com/blog/direct-preference-optimization-dpo）

  • 组相对策略优化（GRPO）

  • 答案：组相对策略优化（GRPO）（https://outcomeschool.com/blog/group-relative-policy-optimization-grpo）

  • 递归语言模型（RLMs）

  • 答案：递归语言模型（RLMs）（https://outcomeschool.com/blog/recursive-language-models）

  • LLM 中的持续学习（Continual Learning）

  • 答案：LLM 中的持续学习（https://outcomeschool.com/blog/continual-learning-in-llms）

  • 扩散语言模型（DLMs）是如何工作的？

  • 答案：扩散语言模型（DLMs）是如何工作的？（https://outcomeschool.com/blog/how-do-diffusion-language-models-dlms-work）

提示工程

  • 什么是提示工程（Prompt Engineering）？为什么它对 AI 应用至关重要？

  • 用示例解释零样本（zero-shot）、单样本（one-shot）和少样本（few-shot）提示。

  • 答案：用示例解释零样本、单样本和少样本提示（https://www.linkedin.com/posts/pallavi-shekhar_llm-prompting-ai-activity-7441801012472078336-JsHr）

  • 什么是思维链（Chain-of-Thought，CoT）提示？你什么时候应该使用它？

  • 答案：思维链（CoT）提示是如何工作的？（https://outcomeschool.com/blog/how-does-chain-of-thought-prompting-work）

  • 解释自一致性（Self-Consistency）提示及其如何改进推理。

  • 什么是思维树（Tree-of-Thought）提示？

  • 什么是 ReAct（推理 + 行动）提示？它是如何工作的？

  • 答案：ReAct 智能体（https://outcomeschool.com/blog/react-agent）

  • 什么是系统提示（System Prompt）？它如何影响模型行为？

  • 你如何设计提示以获得一致的结构化输出（JSON、XML）？

  • 什么是提示注入（Prompt Injection）？你如何防御它？

  • 答案：LLM 中的提示注入（https://outcomeschool.com/blog/prompt-injection-in-llms）

  • 什么是 LLM 中的越狱（Jailbreaking）？常见的越狱技术有哪些？

  • 你如何针对成本和延迟优化提示？

  • 提示工程和提示微调（Prompt Tuning）有什么区别？

  • 什么是提示模板（Prompt Template）？你如何为生产环境设计提示模板？

  • 你如何处理与 LLM 的多轮对话？

  • 什么是角色提示（Role Prompting）？它什么时候有效？

  • 什么是提示链（Prompt Chaining）？你如何为复杂任务设计提示链？

  • 答案：提示链是如何工作的？（https://outcomeschool.com/blog/how-does-prompt-chaining-work）

  • 你如何评估和迭代提示质量？

  • 什么是元提示（Meta-Prompts）？它们如何用于生成提示？

  • 提示中常见的失败模式有哪些？你如何调试它们？

  • 在提示设计中，你如何处理边缘情况和对抗性输入？

  • 长上下文提示中的“中间丢失“（Lost in the Middle）问题是什么？

  • 什么是输出解析器（Output Parsers）？为什么生产应用需要它们？

  • 你如何有效地处理多语言提示？

  • 你的少样本提示在相似输入下给出不一致的结果。你如何稳定它？

  • 你的 LLM 分类系统对提示措辞变化过于敏感。你如何降低提示敏感性？

  • 用户正在泄露你的聊天机器人包含专有业务逻辑的系统提示。你如何防止这种情况？

  • 你的 LLM 智能体容易受到提示注入的攻击，导致系统提示被泄露。你如何防御？

  • 答案：LLM 中的提示注入（https://outcomeschool.com/blog/prompt-injection-in-llms）

  • 你的思维链提示没有提高 LLM 在推理任务上的准确性。你要修复什么？

  • 你的 AI 系统在英语下工作正常，但在其他语言下失败。你如何添加多语言支持？

  • 你的零样本跨语言迁移从英语到其他语言失败了。你如何修复？

检索增强生成（RAG）

  • 什么是检索增强生成（RAG）？为什么它很重要？

  • 答案：在此视频中讲解：AI 工程详解：LLM、RAG、MCP、Agent、微调、量化（https://www.youtube.com/watch?v=lnfWvX66FUk）

  • 解释基本 RAG 系统的架构。

  • 答案：在此视频中讲解：AI 工程详解：LLM、RAG、MCP、Agent、微调、量化（https://www.youtube.com/watch?v=lnfWvX66FUk）

相似文章