@MaximeRivest: 400万参数!仅用10,000个样本就能让微小的BERT超越opus和kimi!
摘要
一项仅有400万参数的模型,通过10,000个样本微调,在某些基准测试中性能超越了opus和kimi。
查看缓存全文
缓存时间: 2026/09/27 05:10
400万参数模型!仅用10000个样本就能让微型BERT超越opus和kimi!https://t.co/SIriVkGuDV
相似文章
@MaximeRivest:仅需 60 亿活跃参数即可超越 Opus 4.5。这意味着 60 亿参数就能推断出正确的下一个词元,且性能仍高于 Opus 4.5……
Maxime Rivest 认为,仅需 60 亿活跃参数即可超越 Opus 4.5,这意味着通过 mixture-of-experts 路由机制,使用不到约 240 亿参数就能实现前沿水平的性能。他鼓励人们更有信心地对开源模型进行微调,以与大型实验室竞争。
@MaximeRivest:每次用 4B,我们就能达到 10T 参数模型:一个真正的专家混合体。Jev 向我们展示了其实可以相当不错地进行路由……
Maxime Rivest 认为,可以把 4B 参数的专家模型组合成一个真正的专家混合(mixture-of-experts),总参数量达到 10T,从而在边缘硬件上以几乎可以忽略的成本实现前沿级性能——只用少量合成样本微调的小模型,已经足以与前沿系统媲美。
@MaximeRivest:我从未想过,仅凭 5000 个训练样本、4 小时训练和 80 美元,我就能让一个 4B 模型击败 GPT 5.6……
Maxime Rivest 称,他仅用 5000 个训练样本、4 小时训练和 80 美元预算就微调了一个 4B 模型,并使其性能超越 GPT 5.6。他认为,如今廉价且充足的训练数据以及能力足够的编码智能体,让自定义模型训练变得触手可及。
@GoogleDeepMind:凭借 7.4 亿参数,它在各项基准测试中都具备竞争力——甚至在部分基准上超越了一些参数规模是其两倍以上的专用模型。
Google DeepMind 发布了一款 7 亿(740M)参数的多模态模型,在各项基准测试中表现不俗,其性能甚至超过了某些规模是它两倍多的专用模型。借助该模型,开发者可以为应用加入多模态搜索功能,例如通过语音备忘录查找视频片段;同时还可以将其与 Gemma 4 搭配,在设备端实现私密的本地使用。
@MaximeRivest: 哇 Moondream!!9B 参数,2B 激活参数。我说过我喜欢小而专用的模型吗?
用户们对 Moondream 3.1 兴奋不已,这是一个拥有 9B 总参数和 2B 激活参数的小型视觉语言模型,被称赞在图像任务上超越了 Rex-Omni 和 LocateAnything,同时成本更低、速度快且可本地运行。