microsoft/Fara-7B · Hugging Face 来源：https://huggingface.co/microsoft/Fara-7B ## https://huggingface.co/microsoft/Fara-7B#fara-7b-an-efficient-agentic-model-for-computer-useFara-7B：一种用于计算机操作的高效代理模型 微软 (https://aka.ms/msaif/fara)Hugging Face 数据集 (https://huggingface.co/datasets/microsoft/WebTailBench)Foundry (https://aka.ms/foundry-fara-7b)GitHub (https://github.com/microsoft/fara)论文 (https://huggingface.co/papers/2511.19663) 微软官方博客 (https://www.microsoft.com/en-us/research/?p=1155843&preview=1&_ppp=0a22f3e916) 技术报告 (https://aka.ms/fara-techreport) 论文 (https://huggingface.co/papers/2511.19663) GitHub (https://github.com/microsoft/fara) 在 Microsoft Foundry 上试用 Fara-7B (https://ai.azure.com/explore/models/Fara-7B/version/1/registry/azureml-msr?tid=72f988bf-86f1-41af-91ab-2d7cd011db47) ## https://huggingface.co/microsoft/Fara-7B#model-summary模型摘要 **开发者：**微软研究院 描述： Fara-7B 是微软首个专为计算机操作设计的代理型小语言模型 (SLM)。仅拥有 70 亿参数，Fara-7B 是一款超紧凑型计算机操作代理 (CUA)，在其参数规模内达到了最先进的性能，并且与更大、更消耗资源的代理系统相比也具备竞争力。 **模型架构：**多模态解码器专用语言模型，接收图像（截图）+ 文本上下文。它直接预测带有具体参数的动作和思考。当前生产基线基于 Qwen 2.5-VL (7B)。 **参数：**70 亿 **输入：**用户目标（文本）、当前截图、代理之前输出的历史记录（思考 + 动作文本）。 **上下文长度：**128k **输出：**根据输入生成的文本，包含一个思维链块，后跟一个指示动作的工具调用块。 **GPU：**64 块 H100 **训练时间：**2.5 天 **公开数据摘要：**不适用 **日期：**训练于 2025 年 10 月 26 日至 2025 年 10 月 29 日 **状态：**基于公开和私有数据训练的静态模型 **发布日期：**2025 年 11 月 24 日 **许可证：**MIT **模型依赖：**Qwen 2.5 VL **其他资产：**不适用 **可接受使用政策：**不适用 — ## https://huggingface.co/microsoft/Fara-7B#1-model-overview1. 模型概述 Fara 是一个 7B 计算机操作代理 (CUA) 模型，专门用于在网页上执行操作以完成高级用户任务。除了理解网页布局和基本操作机制，它还能规划并执行高级目标，如预订餐厅、申请工作、规划行程、购买购物清单等。其训练依赖于一个大规模、完全合成的动作轨迹数据集，这些数据集通过多代理流程生成并验证。Fara 通过截图感知浏览器输入，而内部推理和状态历史则以文本形式记录。基于最近的截图和完整的动作历史，它预测下一个动作及必要的参数（例如，点击的坐标）。 ### https://huggingface.co/microsoft/Fara-7B#11-alignment-approach1.1 对齐方法 Fara-7B 采用稳健的后训练安全方法，利用开源和内部合成数据集。它集成了关键点识别——需要用户许可或敏感信息的情况——以安全地停止动作。模型经过训练能够拒绝有害任务，并经过自动红队测试以评估风险，包括基础性、越狱、有害内容和版权侵犯等方面。 ### https://huggingface.co/microsoft/Fara-7B#12-safeguards1.2 安全防护 Fara-7B 经过训练，能够拒绝违反使用政策的任务类别： 类型|描述|示例

-|-|- 非法活动|需要违法行为的任务|与恐怖主义相关的搜索、盗版、未授权访问、制造武器 欺骗性任务|误导或冒充他人的任务|虚假表格、欺诈性列表、钓鱼 高风险/受监管领域|需要专业监督的任务|医疗、法律、金融建议或批准 骚扰、剥削、仇恨|伤害或歧视的任务|骚扰内容、跟踪、对未成年人进行性化 不安全的技技术使用|滥用自动化|大规模爬取、垃圾信息、系统破坏 虚假信息|传播虚假声明|发布未经证实的声明 色情|色情或淫秽任务|色情角色扮演、色情搜索 代理会停止的关键点包括：输入个人信息、完成购买、拨打电话、发送电子邮件、提交申请、登录账户。 — ## https://huggingface.co/microsoft/Fara-7B#2-usage2. 使用 ### https://huggingface.co/microsoft/Fara-7B#sample-usage使用示例 您可以本地试用 Fara-7B，需要设置环境并托管模型。完整说明请参考 GitHub 仓库 (https://github.com/microsoft/fara#installation)。 bash # 1. 克隆仓库 git clone https://github.com/microsoft/fara.git cd fara # 2. 设置环境 python3 -m venv .venv source .venv/bin/activate pip install -e . playwright install 然后在另一个进程中托管模型： bash vllm serve "microsoft/Fara-7B" --port 5000 --dtype auto 然后您可以这样迭代查询： bash fara-cli --task "whats the weather in new york now" 提示：如果内存不足，可能需要在 vllm 命令中使用 --tensor-parallel-size 2 ### https://huggingface.co/microsoft/Fara-7B#21-primary-use-cases2.1 主要用例 - 自动化网络任务，如购物、旅行预订、餐厅预约、信息查询或账户操作。 - 通过从浏览器截图中获取多模态理解，逐步执行操作。 - 在设备上执行可提供隐私保证和更低的延迟。 ### https://huggingface.co/microsoft/Fara-7B#22-out-of-scope-use-cases2.2 超出范围用例 - 模型未经所有下游目的评估；请考虑大型语言模型在准确性、安全性和公平性方面的局限性。 - 必须遵守适用法律法规。 - 仅支持英文。 ### https://huggingface.co/microsoft/Fara-7B#23-distribution-channels2.3 分发渠道 - Hugging Face - Azure AI Foundry ### https://huggingface.co/microsoft/Fara-7B#24-input-formats2.4 输入格式 鉴于训练数据的性质，请始终使用 ChatML 模板并附带以下系统提示来进行推理： — 系统提示： 您是一个网页自动化代理，通过调用各种工具在网站上执行操作以满足用户请求。您应该在关键点停止执行。关键点出现在以下任务中： - 结账 - 预订 - 购买 - 打电话 - 发邮件 - 下单 关键点需要用户许可或个人信息/敏感信息（姓名、电子邮件、信用卡、地址、支付信息、简历等）来完成交易（购买、预订、注册等），或者需要像人类一样进行沟通（打电话、发邮件、申请工作等）。 指导原则： 尽可能将任务解决到关键点之前。 示例： - 如果任务是“打电话给餐厅预约”，则不要实际打电话。而是导航到餐厅页面并找到电话号码。 - 如果任务是“订购新的 12 号跑鞋”，则不要下单。而是搜索符合条件且正确的鞋子并将其添加到购物车。 某些任务，例如回答问题，可能根本不会遇到关键点。 — 函数签名： 在 XML 标签内提供了函数签名： json { "type": "function", "function": { "name": "computer_use", "description": "使用鼠标和键盘与计算机交互，并截取屏幕截图。\ * 这是桌面图形用户界面的接口。您无法访问终端或应用程序菜单。您必须点击桌面图标来启动应用程序。\ * 某些应用程序可能需要时间启动或处理操作，因此您可能需要等待并连续截取屏幕截图以查看操作结果。例如，如果您点击 Firefox 但窗口未打开，请尝试等待并截取另一张截图。\ * 屏幕分辨率为 1428x896。\ * 每当您打算移动光标点击某个元素（如图标）时，您应查阅截图以确定该元素的坐标，然后再移动光标。\ * 如果您尝试点击某个程序或链接但加载失败，即使在等待之后，请尝试调整光标位置，使光标尖端视觉上落在您要点击的元素上。\ * 确保点击任何按钮、链接、图标等时，光标尖端位于元素中心。除非要求，否则不要点击框的边缘。\ * 当可滚动的独立容器显著覆盖在网页上时，如果您想在其中滚动，通常需要先将鼠标移动至该容器上方，然后再滚动。\ * 如果弹出窗口出现且您想关闭，如果左键单击“X”或关闭按钮无效，请尝试 key(keys=['Escape']) 来关闭它。\ * 在某些搜索栏上，当您输入文字时，可能需要将 press_enter 设置为 False，而是单独调用 left_click() 点击搜索按钮来提交搜索查询。这对于带有自动建议弹出窗口（例如地点）的搜索栏尤其如此。\ * 对于日历控件，您通常需要左键点击箭头以在月份之间切换，并左键点击日期以选择它们；通常不在此使用 type() 输入日期。", "parameters": { "properties": { "action": { "description": "要执行的操作。可用操作包括：\ * key: 按顺序按下传递的键，然后按相反顺序释放键。包括 'Enter', 'Alt', 'Shift', 'Tab', 'Control', 'Backspace', 'Delete', 'Escape', 'ArrowUp', 'ArrowDown', 'ArrowLeft', 'ArrowRight', 'PageDown', 'PageUp', 'Shift' 等。\ * type: 在键盘上输入一串文本。\ * mouse_move: 将光标移动到屏幕上的指定 (x, y) 像素坐标。\ * left_click: 单击鼠标左键。\ * scroll: 执行鼠标滚轮滚动。\ * visit_url: 访问指定的 URL。\ * web_search: 使用指定的查询执行网络搜索。\ * history_back: 返回浏览器历史记录中的上一页。\ * pause_and_memorize_fact: 暂停并记住一个事实以备将来参考。\ * wait: 等待指定的秒数以等待变化发生。\ * terminate: 终止当前任务并报告其完成状态。", "enum": ["key", "type", "mouse_move", "left_click", "scroll", "visit_url", "web_search", "history_back", "pause_and_memorize_fact", "wait", "terminate"], "type": "string" }, "keys": {"description": "仅当 action=key 时需要。", "type": "array"}, "text": {"description": "仅当 action=type 时需要。", "type": "string"}, "coordinate": {"description": "鼠标操作的 (x, y) 坐标。仅当 action=left_click, action=mouse_move 和 action=type 时需要。", "type": "array"}, "pixels": {"description": "滚动量。正数 = 向上，负数 = 向下。仅当 action=scroll 时需要。", "type": "number"}, "url": {"description": "要访问的 URL。仅当 action=visit_url 时需要。", "type": "string"}, "query": {"description": "要搜索的查询。仅当 action=web_search 时需要。", "type": "string"}, "fact": {"description": "要记住的未来事实。仅当 action=pause_and_memorize_fact 时需要。", "type": "string"}, "time": {"description": "等待的秒数。仅当 action=wait 时需要。", "type": "number"}, "status": {"description": "任务的状态。仅当 action=terminate 时需要。", "type": "string", "enum": ["success", "failure"]} }, "required": ["action"], "type": "object" } } } 对于每个函数调用，在 XML 标签内返回一个包含函数名称和参数的 JSON 对象： json { "name": "<函数名>", "arguments": <参数> } - 所有操作（key、type、mouse_move、left_click、scroll、visit_url、web_search、history_back、pause_and_memorize_fact、wait、terminate）都提供了函数签名。 ### https://huggingface.co/microsoft/Fara-7B#25-technical-requirements–integration2.5 技术要求和集成 - 所需包：torch >=2.7.1、transformers >=4.53.3、vllm >=0.10.0 - 已在 NVIDIA A6000、A100、H100 GPU 上测试（Ubuntu 24.04.3 LTS） - 推荐在 vLLM 服务器上使用 bf16 精度 - 通过 Docker 沙箱中的 Magentic-UI 提供实现的实现，以实现安全的 Web 执行 ### https://huggingface.co/microsoft/Fara-7B#26-responsible-ai-considerations2.6 负责任的 AI 考量 - 仅限英文；其他语言可能性能下降 - 可能存在的刻板印象强化或不当内容 - 验证输出，尤其是在高风险或受监管领域 - 滥用包括欺诈、垃圾信息、恶意软件生成 - 尽可能使用 Azure AI 内容安全等安全服务 - 推荐：人工干预、沙箱化、访问控制、输出验证 — ## https://huggingface.co/microsoft/Fara-7B#3-data-overview3. 数据概述 ### https://huggingface.co/microsoft/Fara-7B#31-training-testing-validation-datasets3.1 训练、测试、验证数据集 - 多代理数据生成管道从种子 URL 和开源任务中生成合成轨迹 - 记录屏幕截图、思考、动作轨迹，并通过验证代理进行验证 - 包含高质量公开数据集：图像和文本模态 - 专门数据：基础性、UI 理解（VQA、字幕、OCR）、安全/拒绝数据集 — ## https://huggingface.co/microsoft/Fara-7B#4-quality-and-performance-evaluation4. 质量和性能评估 ### https://huggingface.co/microsoft/Fara-7B#table-online-agent-evaluation-results表格：在线代理评估结果 模型|参数量|WebVoyager|Online-M2W|DeepShop|WebTailBench -|-|-|-|-|- SoM 代理| | | | | SoM Agent (GPT-5)|-|90.6|57.7|49.1|60.4 SoM Agent (o3)|-|79.3|55.4|49.7|52.7 SoM Agent (GPT-4o)|-|65.1|34.6|16.0|30.8 GLM-4.1V-9B-Thinking|9B|66.8|33.9|32.0|22.4 计算机操作模型| | | | | OpenAI computer-use-preview|-|70.9|42.9|24.7|25.7 UI-TARS-1.5-7B|7B|66.4|31.3|11.6|19.5 Fara-7B|7B|73.5|34.1|26.2|38.4 该表格报告了在 WebVoyager、Online-Mind2Web、DeepShop 和 WebTailBench 上，SoM 代理和原生计算机操作代理的任务完成成功率。得分是 3 次运行的平均值。 ### https://huggingface.co/microsoft/Fara-7B#42-safety-evaluation–red-teaming4.2 安全评估与红队测试 - 后训练安全与关键点设计 - Azure 上的红队测试：基础性、越狱、有害内容、版权 ### https://huggingface.co/microsoft/Fara-7B#guidelines-for-safe-use安全使用指南 - 建议人工监控 - 不要共享敏感数据 - 在沙箱环境中运行 - 通过允许列表/阻止列表限制互联网访问 - 避免在商业、高风险或受监管领域使用 安全考虑： - 自动化与网站、应用、操作系统的交互；需要严格的访问控制、沙箱化和监控 署名： 我们的模型基于 Qwen 2.5 VL。Qwen 2.5 VL 使用 Apache 2.0 许可证。Fara-7B 以 MIT 许可证发布。Apache 2.0 和 MIT 是兼容的许可证。 — ## https://huggingface.co/microsoft/Fara-7B#appendix-benchmarks附录：基准测试