关于 Inkling Mini 的一则警告:请搭配搜索服务提供商使用

Reddit r/LocalLLaMA 模型

摘要

一位从业者分享了对 Inkling Mini 开放权重模型的评测,提醒大家谨慎使用。他指出,与显存占用同档的 Qwen3.8 27B 等同类模型相比,它的世界知识较为薄弱,而且出错时仍极度自信,即使接入了网络搜索服务也是如此。不过,它的英文写作非常出色,实际使用搜索时表现也很好。

首先,这不是在贬低这个模型,希望大家也别这么理解。能看到一个新的开放权重模型,我是非常支持的,尤其是它还采用了这么有意思的架构。我觉得有一点值得说明:根据我做的一般性测试,与大家可能会在同一显存档位使用的其他较小模型相比(Qwen 3.8 27B 就是一个很明显的例子),Inkling 的世界知识似乎有所欠缺。更重要的是,它对自己完全错误的答案自信得离谱,颇有 2024 年的风格。小模型的世界知识不太靠谱并不意外,而且我的测试可能有很强的偏向性——我会用一套固定问题测试每个模型,但毕竟这些都是我自己的问题,在我兴趣范围之外的领域,它可能表现得很出色。对我来说,更值得在意的是,那种“我错得离谱,但就这么说下去吧”的表达方式又回来了。公平地说,每个模型都有这种情况,只是我觉得它在这方面表现得相当极端。给它接上一个像样的搜索工具后,它有时确实会调用工具,但依然过度自信,在该用搜索的时候却不去用(我的系统提示词中关于搜索的部分是:“当任务需要你不具备的知识时,使用网页搜索工具:时事、实时信息、不熟悉的术语,或对自己的记忆缺乏信心时”)。它使用搜索时表现不错,能带回恰当的信息,而且英文写作风格非常出色。就我的口味而言,写作方面绝对比 Qwen 更好。先说明一下,免得有人问:我这里说的是 BF16 版本的权重,这不是量化损失造成的。知识方面的问题也同样适用于代码,我经常得引导小模型按正确的语义来使用相关内容。我还没用 Inkling 做过什么繁重的编程工作,不过大家似乎都挺看好它。对你们很多人来说,这大概算不上什么新闻,但这里也有一些刚开始尝试本地使用模型的朋友,所以我觉得还是值得提醒一下。补充:既然有人问了,我的常用环境是 pi,我按项目使用扩展,全局扩展很少,平时用的搜索扩展是 pi-exa。Unsloth Studio 的表现也差不多,但我用得没那么多,也不会在 Visual Studio Code 里做这类验证工作。
查看原文

相似文章

Inkling-Small(4分钟阅读)

TLDR AI

Thinking Machines发布了Inkling-Small,这是一个高效的开放权重混合专家模型,总参数量276B,激活参数12B。它的大小仅为更大版本Inkling的四分之一,但性能与之相当。该模型原生支持音频和图像推理,具备可变的思考深度,并拥有100万token的上下文窗口。

Inkling 2 Mini

Hacker News Top

Thinking Machines 发布 Inkling 2 Mini,这是一个总参数 26.4B、激活参数 3.4B 的开放权重 Mixture-of-Experts 循环 Transformer(looped transformer),可在笔记本上以约 20GB 内存运行,并在 DeepSWE v1.1 等 agentic coding 基准测试中领跑 100B 以下模型。同时发布的还有一个研究用的 variable-loop 变体,用于研究可监控性(monitorability),结果显示其在无 CoT 情况下的时间跨度有所提升,且思维链清晰可读,同时未增加破坏(sabotage)倾向。