@Michaelzsguo：今天我将我的Hermes代理升级为TencentDB Agent Memory。我没有将其连接到云端LLM，而是将其连接到了…

X AI KOLs Timeline 新闻
local-llm agent-memory tencentdb qwen hermes-agents llama-server structured-extraction

摘要

作者使用本地Qwen 3.5-4B模型通过llama-server运行，将其Hermes代理升级为TencentDB Agent Memory，用于结构化JSON提取和多步骤工具调用，实现了一个基于游标检查点的弹性分层记忆流水线。

今天我将我的Hermes代理升级为TencentDB Agent Memory。 我没有将其连接到云端LLM。相反，我通过llama-server将其连接到了本地MacBook Pro上运行的Qwen 3.5-4B。 效果很好。 TencentDB Agent Memory是一个设计非常出色的产品。它使用分层记忆栈： L0 原始日志，存储在SQLite + JSONL中 L1 类型化JSON记忆提取 L2 场景块，作为Markdown叙述 L3 角色合成与交互协议 除L0外，每个层都需要一个LLM来提取和合成信息。 在L1层，LLM将对话解析为类型化记忆，以JSON格式呈现：角色事实、情节事件和指令。 在L2层，LLM使用工具调用（如读取、写入和编辑）将记忆组织成主题性Markdown叙述。 在L3层，LLM读取所有场景，生成包含交互协议的连贯用户画像。 每个层都有基于游标的检查点，因此如果本地模型宕机，不会丢失任何数据。流水线从最后一个处理过的游标处恢复。 为什么选择Qwen 3.5-4B？ 这是我找到的能够可靠处理该架构所需两项任务的最小模型：结构化JSON提取和多步骤工具调用。Qwen 2.5-3B对于这种设置过于脆弱。Qwen 3.5-4B恰好满足了本地推理的最佳平衡点。
查看原文
查看缓存全文

缓存时间: 2026/05/24 22:38

今天，我用 TencentDB Agent Memory 升级了我的 Hermes 智能体。

我没有把它连接到云端大模型，而是通过 llama-server 把它对接到了本地 MacBook Pro 上运行的通义千问 3.5-4B（Qwen 3.5-4B）模型上。

效果非常棒。

TencentDB Agent Memory 是一款设计非常出色的产品。它采用分层记忆结构：

  • L0：原始日志，存储在 SQLite + JSONL 中
  • L1：类型化 JSON 记忆提取
  • L2：场景块，以 Markdown 叙事片段形式组织
  • L3：人物画像合成与交互协议

除了 L0 层，每一层都需要一个大语言模型来提取和合成信息。

在 L1 层，模型将对话解析为类型化的记忆 JSON，包括：人物事实、情景事件和指令。 在 L2 层，模型通过工具调用（如 read、write、edit）将记忆组织成主题性的 Markdown 叙述。 在 L3 层，模型读取所有场景，生成一致的用户画像及交互协议。

每一层都支持基于游标的检查点机制。因此即使本地模型宕机，也不会丢失任何数据。管线会从最后处理过的游标位置继续执行。

为什么选择 Qwen 3.5-4B？

这是我找到的能可靠胜任该架构所需两项任务的最小模型：结构化 JSON 提取与多步工具调用。Qwen 2.5-3B 在这个场景下太脆弱了。而 Qwen 3.5-4B 恰好处于本地推理的最佳平衡点。

相似文章