这些人简直疯了。
摘要
本文讨论了一个产品的beta测试，该产品提供1000次免费Recalls和高达150倍的token成本降低，具有可无限扩展的Memory Banks，可在不同会话和模型中使用。
我试用了他们的beta测试，天哪，太疯狂了。虽然他们的免费层级只有1000次Recalls，但我看到token成本节省高达150倍。更棒的是，他们的Memory Banks可以无限扩展，并且可以被任何会话和跨模型使用。有人见过类似的产品吗？
相似文章
@simplifyinAI：腾讯刚刚开源了Hy-Memory。一个内存插件，通过6层框架赋予AI代理真正的长期记忆…
腾讯开源了Hy-Memory，这是一个为AI代理提供长期记忆的内存插件，采用6层双推理框架，将令牌使用量减少35%，内存膨胀减少70%。
@LinusEkenstam：不到一秒就处理了 100,000 个 token。这到底是什么鬼。Snap 刚刚发布，数据简直离谱……
SubQ 发布长上下文决策模型 Snap，支持 384K 多模态上下文、每 token 计算成本恒定，并以极低定价（$0.05/百万输入 token，输出免费）冲击企业级 AI 经济性。
@rohanpaul_ai：这个团队正在让参数规模超 10 万亿的模型实现每用户每秒 10,000 token 的惊人性能。Volantis 希望……
Volantis 完成 8800 万美元 A 轮融资（投资人包括 Sam Altman、Jeff Dean 和 John Doerr），旨在通过封装在芯片内的光波导技术解决 AI 内存瓶颈——用光连接数百个内存芯片，提供海量带宽与容量，实现超快推理。
AI 真正的长期记忆：5000 万 Token 窗口，比重算更快更省
一篇论文提出了 galahad-kv 记忆层，将 LLM 的键值（KV）状态持久化到加密的本地 NVMe 磁盘，并以逐字节精确的方式重新加载，替代重复计算。在单张 H100 上使用 Gemma 4 模型实现了 5000 万 token 的窗口，速度提升 2.8–4.3 倍，能耗降低 8.8–12.3 倍。
@bkdgiffug：一个拥有 2.78 万亿参数的模型，居然能在 8GB 内存上运行？听起来荒谬，但这个项目确实在折腾……
该项目展示了一个拥有 2.78 万亿参数的模型，仅用 8GB 内存即可运行——采用纯 C99 编写的推理引擎，不依赖 BLAS、任何框架或 GPU，以速度换取极致的内存效率（8GB 内存下约 26.5 秒/token，128GB 以上约 5.6 秒/token）。