Fern（3 分钟阅读）

# 介绍 Fern 来源: https://mirendil.com/news/introducing-fern/ 发布于: 2026年10月26日，太平洋时间上午8:00 Fern 是 Mirendil 的首个模型。它从零开始预训练，支持最高 10M token 的上下文窗口。其首个版本 Fern0.1 在一轮简短的后训练后完成。新版本将频繁发布。 ## Mirendil 模型家族 我们最高效的模型，专为专注、高吞吐量的智能体任务而构建。 基座模型 Mirendil-Base ｜ 规模 0.1–0.5T 参数 ｜ 上下文 最高 10M token ｜ 输入 文本和代码 ｜ 定位 高吞吐量智能体任务 ｜ 获取 即将推出 预训练进行中 · 80%+ 能力更强，适用于更困难、更长时间运行的工作。 基座模型 Mirendil-Base-Large ｜ 规模 0.5–2T 参数 ｜ 上下文 — ｜ 输入 — ｜ 定位 — ｜ 获取 — 预训练进行中 · 20%+ 我们最强大的模型，适用于最苛刻的工作。 基座模型 Mirendil-Base-XL ｜ 规模 2–10T 参数 ｜ 上下文 — ｜ 输入 — ｜ 定位 — ## 上下文即智能 语言模型的能力随算力增长，而投入更多算力有两种方式。一种是增加模型的参数量，另一种是增加上下文长度。参数更多的模型拥有更多静态知识，能执行更复杂的推理步骤。上下文窗口更大的模型能使用更多任务相关信息：利用更多的自身过往经验，跟踪更多的规格说明与指令，整合更多文档和代码中的证据，以及直接查看更多数据。 Fern 的架构、训练和推理服务可支持同时处理最高 10M token——约 23 MB 的代码。这相当于约五十万行代码，一个与 Megatron-LLM 库规模相当的代码库，数十到数百条完整的智能体轨迹，或者智能体数天的工作量，全部*同时*保持在上下文中。 下面，我们首先展示更多上下文在下一个词元预测（语言模型训练的基础以及其上所有能力的根基）中的作用。随后，我们使用标准基准（RULER）对长上下文的有效访问进行基础测试。更全面的长上下文测试结果即将发布。 ## 初期后训练结果 Fern 专为所有构建 AI 的人所需的专注、高吞吐量智能体工作而设计：审计训练数据、根据日志调试训练流程，以及端到端阅读智能体轨迹。Fern0.1 是 Mirendil-Base 经过一轮简短后训练后的版本。以下是它在此阶段在智能体基准上的表现。 ## Fern 的用途 - ### 处理更大的代码库 拥有 10M token 的上下文窗口，因此可以跨更大的代码库工作。 - ### 智能体编码 执行命令、读取输出，并持续工作直到测试通过。 - ### 研究代码 专为 AI 模型背后的代码而打造：训练循环、数据管道和评估。 - ### 从日志调试 通读冗长的日志和堆栈跟踪，定位训练过程中出错的位置。 - ### 分析完整轨迹 端到端阅读完整的智能体或训练轨迹，从而解释发生了什么以及为什么。 - ### 审计训练数据 扫描整个预训练分片，查找重复数据、基准污染和垃圾内容。 ¹Bits per byte（每字节比特数）是模型对每字节文本的交叉熵损失，因此可以公平地比较使用不同分词器的模型。数值越低越好。