如何在不耗尽你全部显存的情况下为AI智能体提供长期记忆 (Hillock v0.5)

大家好，构建本地智能体工作流最头疼的问题之一，就是在管理持久化记忆的同时不耗尽你的显存预算。引入重型的向量数据库并仅仅为了解析状态变化就调用LLM，其成本会迅速攀升。我构建了Hillock，一个轻量级的神经符号记忆引擎，专为本地边缘环境设计（GTX 1070上显存占用小于1.2 GB，或CPU模式）。它并非将原始文本块嵌入到稠密的向量表中，而是利用一个小巧的双编码器流水线（GLiREL + MiniLM），在约5秒内提取出结构化的“主体-谓词-对象”三元组到SQLite中。查询门控和代词消解则在CPU上运行，使用10,000维的超向量（VSA），耗时低于1毫秒。这充当了一个硬性过滤器：如果你的智能体询问某个在知识图谱中没有确证证据的内容，系统会返回一个干净的拒绝回答，而无需消耗任何LLM生成周期。我刚刚发布了v0.5.0版本，支持令牌流、一键启动脚本，以及实时CLI命令（如 /inspect），可以实时查看实体存储的事实和突触权重。我在评论区放置了GitHub链接，有兴趣用它来测试你的智能体循环的朋友可以查看！