一篇分享对 Inkling 2 Mini 的批判性评测的讨论帖,质疑其虚高的基准测试成绩,以及对美国模型相较于中国模型的炒作,并询问它能否媲美 Qwen 27B 和其他本地模型。
Inkling-2-Small GGUF 量化版本(Unsloth UD-Q4_K_XL 和 Bartowski Q4_K_M)通过 llama.cpp 在 Mac Studio M3 Ultra 上运行的基准测试结果:在提示词深度为 1000 个 token 时,Unsloth 的解码速度约为 19 token/秒,Bartowski 约为 27 token/秒。
PhiloLM 是一个拥有 1.12 亿参数的语言模型,基于包含 5 亿个词元的开放哲学文本(PhiloText 语料库)从零开始训练,在单张英特尔 Arc A770 GPU 上用 15 小时完成训练。
一位从业者分享了对 Inkling Mini 开放权重模型的评测,提醒大家谨慎使用。他指出,与显存占用同档的 Qwen3.8 27B 等同类模型相比,它的世界知识较为薄弱,而且出错时仍极度自信,即使接入了网络搜索服务也是如此。不过,它的英文写作非常出色,实际使用搜索时表现也很好。
SenseNova-Loop-9B 的基准测试与显存分析:这款循环式 Transformer 在笔记本电脑 RTX 5090 上采用 NVFP4 量化后,聚合吞吐量超过 1300 token/秒,在数学和常规工具任务上的表现接近 Qwen3.8-27B,但在高难度智能体任务和通用知识方面仍有差距。
来自 Thinky Machines 的 Inkling 2 Mini 成为 Hugging Face 上的头号热门模型,由 Unsloth 推出的 GGUF 量化版本排名第二。
Atomic Chat 发布了 Inkling 2 Mini 的一个无审查变体,使用小型 LoRA 适配器移除拒绝指令,将拒绝率从 100% 降至 0%,同时保留原版 98% 的 MMLU 得分,并提供三种 GGUF 量化版本,大小从 16.53 GB 到 8.67 GB 不等。
发布前,作者演示了通过预发布引擎,在一部配备 12 GB 内存的 Android 手机上以每秒 2–3 个 token 的速度运行 Inkling-2-Mini(IQ4_NL,17.6 GB)。该引擎可让模型在内存低于其所需容量的硬件上运行,适用范围从手机到数据中心 GPU。
一位用户反馈,在 oMLX 上运行 thinkingmachines/Inkling-2-Mini 时,模型的内部推理会陷入循环,并表示按照 Unsloth 指南调整采样设置(temperature 1.0、top-p 1.0、top-k 0、min-p 0.0)后,问题得到了解决。
Fable 5.2 使用 Claude Code,在单个 96 KB 的 HTML 文件中生成了一个完全由程序生成、可自由飞行探索的 3D 亚特兰蒂斯——包含 WebGPU 渲染器、水晶折射着色器、程序化建筑、碰撞检测,以及合成的芯片音乐配乐——在 RTX 5070 Ti 上以 1440p 分辨率运行时,每帧耗时约 2.5 毫秒。
Inkling 2 Mini 看起来能力不错,但倾向于一次性输出全部内容,受用户 token 设置限制,导致一次性提示(one-shot prompting)不太可靠;后期训练或许能解决这一问题。
腾讯在 AMA 中透露,Hy4-Flash 采用 SWA(滑动窗口注意力),可将 KV 缓存缩减至原来的四分之一,并显著降低推理成本,同时预告将推出面向低延迟场景的 Flash-Lite 模型。
一位用户分享了对新发布的 Inkling 模型的初步印象,称赞其对话流畅自然,相比之下,Qwen 模型则显得有些“跳跃”,并指出它兼具 Gemma4 的流畅表达和 Qwen 的技术能力。不过,它主要面向英语,速度较慢,采用循环式 Transformer 架构,并结合了 Kimi 风格的残差注意力机制。
Atomic Chat 团队发布了 Inkling 2 Mini 的一系列不同级别的动态 GGUF 量化版本,大小从 27.74 GB(Q8_0)降至 6.88 GB(AD-IQ1_S),并在 H100 上以 BF16 版本为基准测量了准确率。结果显示,随着量化程度提高,top-1 保持率从 97.7% 降至 79.5%。
社区讨论:Inkling 2 Mini 的混合专家(Mixture-of-Experts)设计和良好的量化表现,是否能带来低显存支持(12-16GB),性能媲美稠密版 Qwen 27B。
Thinking Machines(米拉·穆拉蒂的AI公司)开源了端侧模型 Inkling 2 Mini:26.4B 总参数、3.4B 激活的 MoE+循环层架构,20GB 权重可在普通笔记本本地运行,在 SWE-bench Verified 等多项评测中超越 Qwen3 27B 稠密模型,权重已登陆 Hugging Face。
帖子展示了 26B 参数的 Inkling 2 Mini 在 Apple Silicon Mac 上的本地推理表现:96GB M5 Ultra Mac Studio 达到 210 tok/s 解码速度,构建原生天气 App 比 Claude Sonnet 5.5 快 1.8 倍且成本仅 1/11。其循环 Transformer 架构用更小的模型体积实现更深的推理,16GB 内存设备也能运行。
一个 Qwen3.5-4B 模型使用 QLoRA 在 1,443 个从提示词到页面的示例上进行了微调,以生成自包含、外观更美观且功能更完善的 HTML 页面。与基础模型相比,经浏览器验证可正常运行的页面比例从 35% 提升至 53%,完成率从 75% 提升至 95%。该模型以 GGUF 格式、采用 Apache-2.0 许可证发布,并附有包含 148 个生成页面的展示集。
GPT-6.2 Astra 正被展示为一款强大的机器人基础模型,在单日完成数百次两两对决后,已跃升至 RoboColosseum SO-101 Elo 排行榜的第一位。
根据 ValsAI 的结果,Inkling 2 Mini 在 CyberBench 基准测试中的表现与 Opus 5.5 相当。