即将举办网络研讨会：使用 Harbor 和 Arize Phoenix 评估 AI 智能体与工具运用能力

了解如何在相同任务上对比智能体与模型、诊断性能回溯，并深入分析评分、错误及执行轨迹。

10月8日 · 太平洋时间上午11点 / 东部时间下午2点

立即预约席位： https://t.co/wPqe8nR2kG

使用 Harbor 和 Arize Phoenix 评估 AI 智能体与工具运用能力 · Luma

来源：https://luma.com/arizeai-benchmarking-ai-agents-with-phoenix?utm_source=arize 当您更改智能体的模型、提示词、工具或运行环境时，如何确认新版本表现更优？生产环境中的执行轨迹可展示实际应用行为，而受控基准测试则让您能在部署前基于相同任务对比不同配置方案。

本次演示将带领您完成基于 Harbor 的端到端智能体评估流程，并在 Phoenix 中解析评估结果。Harbor 作为开源框架，可在沙盒环境中运行智能体执行任务，并通过验证器对最终状态进行评分。Phoenix 插件会将这些运行记录转化为带版本的数据集与实验报告，完整呈现每次运行的评分、错误及执行轨迹。这为团队提供了可复现的对比方法，帮助区分行为缺陷与基础设施问题，并深入追溯单次结果的完整决策路径。

演示中将使用 Arize 构建的 Phoenix 专属评估套件。每个任务均模拟真实工作流，例如项目轨迹分析或故障标注。HarPhoenix 将启动预装 Phoenix 服务器与初始化数据的沙盒环境，运行智能体并评估最终状态。

我们将使用 PXI（Phoenix 内置智能体）、Claude Code 及 Codex 等编码智能体，通过 Phoenix MCP 服务器、px CLI 或 Phoenix 技能模块，在相同任务集上进行对比。您将直观看到不同产品界面间的评估结果差异、故障诊断方法及优化方向。

本次讲解还将深入解析评估体系的设计逻辑、Harbor 的任务执行与评分机制，以及如何随智能体/模型/工具的演进持续保持评估有效性。

本次研讨会要点

• 如何构建包含任务指令、环境、智能体和验证器的 Harbor 评估框架
• 如何将真实智能体工作流转化为可复现、具备可量化终态的测试方案
• 如何跨智能体/模型/工具配置运行相同任务集
• 如何在 Phoenix 中对比评分、基础设施故障与执行轨迹，以实现回溯诊断与优化优先级决策
• Harbor 如何启动预装 Phoenix 服务器与种子数据的沙盒环境
• 如何通过 Phoenix MCP 服务器、px CLI 及技能模块，在 PXI 或编码智能体上运行相同评估套件

目标受众

本研讨会面向构建智能体或智能体工具链的软件工程师（包括 MCP 服务器、CLI 及技能模块开发者），同时也适用于负责智能体质量管控、开发者体验或发布决策的产品经理——他们需要统一的方法对比不同产品界面与配置下的行为表现。

研讨会收获

掌握可复现的智能体/模型对比方法，精准区分行为缺陷与基础设施问题，并具备追溯单次结果完整决策路径的能力。

活动形式 30分钟主题分享 + 15分钟问答环节

难度等级 中级。参与者需了解智能体基础知识并能阅读执行轨迹。具备评估测试或沙盒环境经验者更佳，但无需 Harbor 使用经验。