LFM 2.6B 非常有趣。

Reddit r/LocalLLaMA 模型

摘要

作者分享了使用 LFM 2.6B 的亲身经历,这是一款为手机设计的小型模型,作者称赞其速度和完成快速任务的实用性,例如摘要和自动补全,不过它只有 128k 的上下文限制。

我在我的 3090 上达到了 260T/s tg 和 20k pp 的速度,哈哈,因为这个模型很小,是为手机设计的。根据我的试用体验,它在处理非常快速的任务时表现出奇地好,比如“读一下这段巨长的内容,告诉我是否提到 x”或者“这篇愚蠢的科普文章摘要是什么”或者“在 Linux 上执行 y 的那个命令是什么”或者用于快速自动补全一些结构相似但你不想打出来的内容(比如有人粘贴了一个带反斜杠的长命令,你想去掉它们)。显然,对于任何重要的任务,你会想用别的模型,但对于基本上类似于谷歌 AI 概览(确实很烂,哈哈)的任务来说,它很棒。你也可以往里面扔大量的数据——虽然上下文只有 128k :(
查看原文

相似文章

LFM2.5-2.6B 已发布

Reddit r/LocalLLaMA

Liquid AI 发布了 LFM2.5-2.6B,一款专注于智能体能力的新型小模型。作者很期待测试它在文档摘要等大规模任务中的表现。

LiquidAI/LFM2.5-2.6B

Hugging Face Models Trending

Liquid AI released LFM2.5-2.6B, a 2.6B-parameter hybrid model optimized for on-device deployment with 128K context, agentic post-training, and fast inference (220 tok/s on Apple M5 Max) under 2.5GB memory.