Interfaze：专为规模化场景下高准确率而构建的新型模型架构

# Interfaze：一种专为规模化高准确度打造的新模型架构 来源：https://interfaze.ai/blog/interfaze-a-new-model-architecture-built-for-high-accuracy-at-scale **tl;dr**：Interfaze 是一种新的模型架构，在 OCR、视觉、STT 和结构化输出方面的 9 个直接对比基准测试中，表现优于 Gemini-3-Flash、Claude-Sonnet-4.6、GPT-5.4-Mini 和 Grok-4.3 等模型。人类在处理计算机级别的任务时效率低下。我们会犯错，但我们擅长决策和理解细微差别。想象一下让一个人阅读一份 50 页的 PDF，将每个单词映射到另一个文档及其 XY 位置，并将所有内容翻译成中文。你会得到大量错误，支付高昂的人力成本，并且等待很长时间才能得到结果。Transformer 模型类似。它们擅长细微差别和人类级别的任务，也会像人类一样犯错，但这也是它们保持创造力的原因。我们一直在为错误的任务使用错误的模型。CNN/DNN 自 90 年代初就已存在，从 LeNet-5 到 ResNet，以及最近的 CRNN-CTC。这些都是针对 OCR、翻译或 GUI 检测等任务的深度神经网络架构。它们消费和查看数据的方式经过训练特定于任务，这使得它们在特定任务上的准确度高达 100 倍。它们还产生有用的元数据，如边界框和置信度分数，让开发人员构建可依赖的可预测工作流。那么为什么我们中这么多人仍然为确定性任务选择 transformer/LLM 呢？DNN 不够灵活。它们的好坏仅取决于训练数据，并且不擅长人类级别的细微差别。它们可能服务成本低，但维护和新任务重新训练的成本高昂。以护照为例：CNN 可以提取带有边界框和置信度分数的出生日期，但它无法计算一个人的年龄。 ## 介绍 Interfaze 一种新的模型架构，融合了 DNN/CNN 模型的专业性与 Omni-transformers，为您提供两全其美的方案。Interfaze 的工作原理：混合架构，结合 DNN/CNN 与 transformer 解码器，加上特定任务适配器，以及用于 Web 索引、抓取和代码沙盒的内置基础设施基础。(https://interfaze.ai/examples/howitworks.png) 这意味着在确定性任务上具有高准确度和低成本： - 视觉（图像和文档、物体和 GUI 检测） - Web 提取和搜索 - 音频（STT 和说话人分离） - 翻译 - 视频（即将推出） ## 模型规格 | 特性 | 值 | | :--- | :--- | | 上下文窗口 | 1M tokens | | 最大输出 Token | 32k tokens | | 输入模态 | Text, Images, Audio, File | | 推理 | 可用 (default: disabled) | ## 基准测试 虽然像 Claude Opus 4.7 和 GPT 5.5 这样的 Pro 层级模型是当今市场上编码和复杂推理任务等最佳通用模型，但由于成本高和响应时间慢，它们不常用于 OCR 或翻译等高容量任务。Interfaze 与类似定价层级和功能集的模型进行基准测试，这些模型经过优化，以最快速度挤出最多性能，同时保持规模化低成本。今天，大多数人为确定性开发人员任务选择两类模型： - **Flash/mini 模型** 如 Gemini-3-Flash, GPT-5.4-Mini 和 Claude Sonnet 4.6。在规模化性能与价格之间能得到的最佳平衡。 - **专业提供商** 如 Reducto, Mistral OCR 或 Whisper。 ### 细分 | 基准测试 | Interfaze | Gemini-3-Flash | Claude-Sonnet-4.6 | GPT-5.4-Mini | Grok-4.3 | | :--- | :--- | :--- | :--- | :--- | :--- | | **OCRBench V2** | **70.7%** | 55.8% | 54.7% | 52.7% | 54.7% | | **olmOCR** | **85.7%** | 75.3% | 73.9% | 80.1% | 81.9% | | **RefCOCO** | **82.1%** | 75.2% | 75.5% | 67.0% | 25.0% | | **VoxPopuli (WER)** | ↓ **2.4%** | 4.0% | — | — | — | | **Spider 2.0-Lite** | **52.9%** | 45.2% | 49.6% | 26.7% | 45.9% | | **GPQA Diamond** | **89.9%** | 88.5% | **89.9%** | 82.8% | 73.6% | | **MMMLU** | **90.9%** | 88.7% | 84.9% | 75.3% | 89.7% | | **MMMU-Pro** | **71.1%** | 67.6% | 46.3% | 40.4% | 68.7% | | **SOB Value Acc** | **79.5%** | 77.3% | 77.9% | 75.1% | 78.4% | ↓ = 越低越好 (词错误率)。— = 未评分 (模型没有原生音频输入)。所有其他行：越高越好。每个模型在九个基准测试中进行直接对比：OCRBench V2, olmOCR, RefCOCO, VoxPopuli-Cleaned-AA, SOB Value, Spider-2.0-Lite, GPQA Diamond, MMMLU, 和 MMMU-Pro。查看完整排行榜 → (https://interfaze.ai/leaderboards) Interfaze 在几乎每个基准测试中都领先，胜过每个类别中的专业模型以及通用 flash/mini 模型。我们的目标不是取代 LLM。而是专注于确定性任务。基准测试侧重于 OCR、物体检测和结构化输出等类别，以及一些通用基准测试如 GPQA Diamond，以展示您从任何 transformer 模型中期望的问题解决和理解水平。Interfaze 的定价范围与 Gemini-3-Flash 相似，**每百万输入 Token 1.50 美元** 和 **每百万输出 Token 3.50 美元**。 ## OCR 是我们的头号用例 用户给我们的头号用例一直是图像和复杂长 PDF 的 OCR。Interfaze 表现优于 Chandra OCR 和 Reducto 等 OCR 提供商，以及 Gemini-3-Flash 和 GPT-5.4-Mini 等通用模型。这不仅仅是特定任务的 CNN 编码器做得好。它是能够依靠物体检测来处理图形和图表，或者依靠 transformer 的翻译层， all in a shared vector space。查看完整 olmOCR 基准测试 → (https://interfaze.ai/leaderboards/olmocr) ## 结构化输出是确定性的重要组成部分 如今大多数 LLM 擅长遵循 JSON schema，但在用准确值填充方面相当糟糕。没有公共基准测试衡量这些值的准确性，所以我们上周发布了 SOB（结构化输出基准测试）(https://interfaze.ai/blog/introducing-structured-output-benchmark)。 **TL;DR：** SOB 在上下文中给模型正确答案，然后要求它生成一个包含已有数据的 JSON 输出。我们衡量谁最准确，错误和幻觉最少，跨文本、图像和音频模态（所有都标准化为文本）。与本文全程使用的相同 flash/mini 集合进行比较。查看完整的 SOB 排行榜 (https://interfaze.ai/leaderboards/structured-output-benchmark) 以获取所有 28 个模型，包括前沿 Pro 层级模型如 Gemini-3.1-Pro, GPT-5.5, 和 Claude-Opus-4.7。在不提高成本或算力的情况下，结构化输出仍有巨大的改进空间。在 X (https://x.com/interfaze_ai) 或 LinkedIn (https://www.linkedin.com/company/interfaze-ai) 上关注我们，跟随我们的研究旅程。 ## 超越英语的多语言性能 Interfaze 在广泛的语言范围内具有出色的多语言性能。查看完整 MMMLU 基准测试 → (https://interfaze.ai/leaderboards/mmmlu) ## 与专业 ASR 提供商相当的语音转文本 在 VoxPopuli-Cleaned-AA 上，Interfaze 的词错误率排名第二。 ## 语音转文本推理速度 Interfaze 每秒算力可转录 209 秒音频，比 Deepgram Nova-3 快约 1.5 倍，比 Scribe v2 快约 8 倍，比 Gemini-3-Flash 快 11 倍以上。查看完整 VoxPopuli 基准测试 → (https://interfaze.ai/leaderboards/voxpopuli-cleaned-aa) ## 如何开始 ### 设置您的 SDK Interfaze 遵循 Chat Completions API 标准，所以任何支持 OpenAI 的 AI SDK 都可以开箱即用：只需将其指向 `https://api.interfaze.ai/v1`。从 Interfaze 仪表板 (https://interfaze.ai/dashboard) 获取您的 API 密钥并放入。 OpenAI SDK Vercel AI SDK LangChain SDK ```javascript import OpenAI from "openai"; const interfaze = new OpenAI({ baseURL: "https://api.interfaze.ai/v1", apiKey: "", }); ``` 相同的 `interfaze` 客户端在下方的每个示例中重复使用。阅读完整设置指南 → (https://interfaze.ai/docs) ### 复杂 OCR + 物体检测 一页包含密集多栏文本和三幅插图的杂志页面。Interfaze 在一次请求中对同一图像运行 OCR 和物体检测，返回完整文本加上每个图的像素坐标， all under your schema。包含文本和检测到三个图的密集杂志页面，每个插图周围有红框 (https://r2public.jigsawstack.com/interfaze/examples/dense_text_ocr_figures_output.png) OpenAI SDK Vercel AI SDK LangChain SDK ```javascript import { z } from "zod"; import { zodResponseFormat } from "openai/helpers/zod"; const OCRObjectDetectionSchema = z.object({ text: z.string().describe("all text in the image"), graphic_objects: z .array( z.object({ description: z.string(), top_left_x: z.number(), top_left_y: z.number(), bottom_right_x: z.number(), bottom_right_y: z.number(), }) ) .describe("graphics objects found in the image"), }); const response = await interfaze.chat.completions.create({ model: "interfaze-beta", messages: [ { role: "user", content: [ { type: "text", text: "Extract the text and graphics from the image based on the schema." }, { type: "image_url", image_url: { url: "https://r2public.jigsawstack.com/interfaze/examples/dense_text_ocr_figures.png", }, }, ], }, ], response_format: zodResponseFormat(OCRObjectDetectionSchema, "ocr_object_detection_schema"), }); console.log(response.choices[0].message.content); //@ts-expect-error precontext is not typed const precontext = response.precontext; console.log("OCR bounding boxes + confidence:", precontext[0]?.result); ``` **JSON 输出** `object` 携带 schema 响应：完整页面文本加上 `graphic_objects` 数组，包含每个插图的描述和像素坐标。`precontext` 在同一响应上携带原始 OCR（每行和每词边界框，置信度分数）。 ```json { "object": { "text": "cane stopped on the corner and yelled... acter named Dick Manly. He was so observant... STOMPING GROUND ... \"The Adding Machine,\" from 1923, is about Mr. Zero, a repressed number cruncher who gets replaced by an adding machine... 12 THE NEW YORKER, APRIL 27, 2026", "graphic_objects": [ { "description": "A drawing located at the top left under the \"STOMPING GROUND\" heading, featuring a cityscape with a moon and a whimsical character.", "top_left_x": 84, "top_left_y": 484, "bottom_right_x": 394, "bottom_right_y": 630 }, { "description": "A detailed line drawing of Daphne Rubin-Vega in front of a building facade, matching the main profile story.", "top_left_x": 77, "top_left_y": 1367, "bottom_right_x": 517, "bottom_right_y": 1878 }, { "description": "A drawing in the bottom right corner depicting a person interacting with a device, situated above the spray-on condom text.", "top_left_x": 985, "top_left_y": 1581, "bottom_right_x": 1264, "bottom_right_y": 1737 } ] }, "precontext": [ { "name": "ocr", "result": { "extracted_text": "cane stopped on the corner and yelled he wrote science fiction-and observant. acter named Dick Manly. He was so\nout, \"What is that?\" \"I remember my mother coming home...", "sections": [ { "lines": [ { "text": "cane stopped on the corner and yelled he wrote science fiction-and observant. acter named Dick Manly. He was so", "bounds": { "top_left": { "x": 83, "y": 80 }, "top_right": { "x": 1406, "y": 78 }, "bottom_right": { "x": 1406, "y": 111 }, "bottom_left": { "x": 83, "y": 110 }, "width": 1323, "height": 30 }, "average_confidence": 0.99 } // ... 还有数百行包含每词边界框和置信度 ] } ] } } ] } ``` OCR 文档 → (https://interfaze.ai/docs/vision/ocr) ### 带有部分模型激活的 OCR 使用我们的混合架构，您可以激活模型的部分来运行特定任务，而无需使用全部权重。它更快更便宜，有一些权衡，您获得每次运行都确定性且一致的固定结构化输出，并且每个请求只能运行一个任务。用作部分激活 OCR 示例输入图像的手写诗歌 (https://r2public.jigsawstack.com/interfaze/examples/handwriting.jpeg) 在系统提示词中使用 `` 标签，您可以控制激活模型的哪一部分。下面，我们在手写诗歌上运行纯 OCR。 OpenAI SDK Vercel AI SDK LangChain SDK ```javascript import { z } from "zod"; import { zodResponseFormat } from "openai/helpers/zod"; const response = await interfaze.chat.completions.create({ model: "interfaze-beta", messages: [ { role: "system", content: "ocr" }, { role: "user", content: [ { type: "text", text: "Extract all text from this image" }, { type: "image_url", image_url: { url: "https://r2public.jigsawstack.com/interfaze/examples/handwriting.jpeg", }, }, ], }, ], response_format: zodResponseFormat(z.any(), "empty_schema"), }); console.log(response.choices[0].message.content); ``` **JSON 输出** 响应是原始任务结果，带有 `name` 和 `result`，准备好直接消费。 ```json { "name": "ocr", "result": { "extracted_text": "The lovely Song night may song linen shined\nWelcome and faint wei my heart was beating\nthe reseach on the moon the violet beautifull\nThe artist's evening song our love new life\n...", "sections": [ { "lines": [ { "text": "The lovely Song night may song linen shined", "bounds": { "top_left": { "x": 27, "y": 22 }, "top_right": { "x": 422, "y": 21 }, "bottom_right": { "x": 423, "y": 47 }, "bottom_left": { "x": 27, "y": 51 }, "width": 395.5, "height": 27.5 }, "average_confidence": 0.78 } // ... 更多行包含每词边界框和置信度 ] } ] } } ``` 了解更多关于运行任务的信息 → (https://interfaze.ai/docs/run-tasks) ### 访问互联网 Interfaze 内置了自己的 Web 索引，来自抓取多个 SERP 索引和我们自己的爬虫。 OpenAI SDK Vercel AI SDK LangChain SDK ```javascript import { z } from "zod"; import { zodResponseFormat } from "openai/helpers/zod"; const GarryTanSchema = z.object({ linkedin_url: z.string(), x_url: z.string(), first_name: z.string(), last_name: z.string(), location: z.string(), latest_education: z.string(), current_job: z.string(), followers: z.number(), experience: z.array( z.object({ company: z.string(), title: z.string(), start_date: z.string(), end_date: z.string(), }) ), }); const response = await interfaze.chat.completions.create({ model: "interfaze-beta", messages: [{ role: "user", content: "Enrichment information of Garry Tan, Y Combinator" }], response_format: zodResponseFormat(GarryTanSchema, "garry_tan_enrichment_schema"), }); console.log(response.choices[0].message.content); //@ts-expect-error precontext is not typed const precontext = response.precontext; console.log("Web search results:", precontext[0]?.result); ``` **JSON 输出** `object` 返回完全 typed 到 schema 的 enriched profile，而 `precontext` 包括 Interfaze 拉取用来 grounding 答案的原始 Web 搜索结果。 ```json { "object": { "linkedin_url": "https://linkedin.com/in/garrytan", "x_url": "https://x.com/garrytan", "first_name": "Garry", "last_name": "Tan", "location": "San Francisco, California, United States", "latest_education": "Stanford University (1999-2003), BS in Computer Systems Engineering", "current_job": "President & CEO at Y Combinator, Founder at Garry's List, Board Partner & Advisor at Initialized Capital", "followers": 319863, "experience": [ { "company": "Garry's List", "title": "Founder", "start_date": "Jan 2026", "end_date": "Present" }, { "company": "Y Combinator", "title": "President & CEO", "start_date": "Jan 2023", "end_date": "Present" }, { "company": "Initialized Capital", "title": "Founder & Managing Partner", "start_date": "Jan 2012", "end_date": "Dec 2022" }, { "company": "Posterous.com", "title": "Cofounder", "start_date": "Jan 2008", "end_date": "Jan 2011" }, { "company": "Palantir Technologies", "title": "Lead Engineer, Designer", "start_date": "Sep 2005", "end_date": "Oct 2007" } // ... 更多角色 ] }, "precontext": [ { "name": "search", "result": [ { "title": "Garry Tan - President & CEO, Y Combinator - LinkedIn", "description": "President & CEO of Y Combinator. Y Combinator funds hundreds of companies per year...", "url": "https://www.linkedin.com/in/garrytan" ```