Hermes 的记忆、Skills 与自我改进机制:源码研究
研究范围
- 上游:NousResearch/hermes-agent。本文按这个 Hermes 项目研究。
- 固定版本:
2b31d7b283191b8069311fd3514ee89419f76516,提交日期2026-11-02。 - 方法:读取该提交的执行循环、后台复盘、记忆与 Skill 工具、历史会话检索和生命周期代码;所有源码链接固定到此提交。
- 本文是源码研究及本项目的采纳建议,不表示本仓库已经实现记忆服务,也不自动将建议变为既定架构。未启动 Hermes、未调用模型、未运行上游完整测试套件。
一、核心结论
Hermes 不是一个“任务结束后,把所有内容向量化,再让 Agent 自我重写”的系统。其内置基础路径是:
- 小容量声明式记忆:
MEMORY.md和USER.md,在加载时生成系统提示词快照。 - 程序性记忆:Skills,按需加载任务流程、方法和坑点。
- 历史记录:SQLite 保存会话,通过
session_search做全文检索。 - 自我改进:执行中主动保存,加上达到阈值后的后台复盘;长期 Skill 库维护另由 Curator 处理。它在这些路径里改的是记忆和流程文档,不是训练模型权重。S1 S2 S3 S4 S5
因此,本项目可以先模仿这个轻量闭环,不必把“向量库 + 向量召回”作为第一版的先决条件。产品文档 RAG 可以作为独立知识源接入,而不是与上述三类记忆混为一谈。后者是本项目的设计建议,不是 Hermes 内置能力的逐项复刻。
二、到底什么时候总结、保存?
2.1 执行过程中:Agent 随时可以主动保存
系统提示要求:发现非平凡工作流时,通过 skill_manage 记录;已加载的 Skill 如果缺步骤、命令错误或缺坑点,应在完成前更新。跨任务、跨会话成立的少量事实,才进入普通记忆。这里是提示词指导模型主动调用工具,不是代码检测到“用户纠正”就必然触发保存。S1 S6
用户说“记住这个”或 Agent 回答“已经记住”,不等于持久化完成;必须实际调用记忆工具并成功落盘。官方文档也专门解释了这个区别。S7
2.2 周期记忆复盘:默认累计 10 个用户轮次
_tick_memory_nudge() 每个用户轮次递增 _turns_since_memory;达到 memory.nudge_interval 时标记需要复盘并清零。默认值为 10。要求记忆工具和内置记忆 Store 可用;设为 0 不走这个周期触发。S8 S9
这不是“每 10 次工具调用”,也不是“每 10 分钟”。正常执行中进入 memory 工具调用路径,也会重置记忆计数器,因此更准确的说法是距上次相关重置累计到阈值时评估复盘。S10
2.3 周期 Skill 复盘:默认累计 10 次执行循环迭代
prepare_iteration() 在符合条件时递增 _iters_since_skill。在回复收尾阶段,达到 skills.creation_nudge_interval 才标记需要 Skill 复盘,默认值也是 10。S11 S12 S13
注意:
- 这是执行循环迭代计数,不等于独立工具调用数量;一次循环可以包含多个工具调用。
- 计数不在每个用户轮次开始时清零,可以跨多个轮次累计。
- 进入
skill_manage调用路径会重置 Skill 计数;达到后台复盘阈值也会清零。 - 因此,不能将其描述为“每完成一个复杂任务自动新建一个 Skill”。S10 S11 S12 S14
2.4 阈值到了之后:在本轮回复收尾阶段启动后台复盘
收尾路径先同步可选的外部记忆,再在存在最终回复、未中断、未禁用后台复盘且至少一个复盘标记为真时,申请启动后台复盘。不是每次回复都启动。S15
调度入口还会检查:
- 自动后台复盘是否启用。
- 是否属于委派的子 Agent;自动路径会跳过委派深度大于
0的子 Agent。 - 是否应该延迟到托管本地模型空闲时运行。
- 当前是否已经存在未结束的复盘,避免重复并发启动。S16 S17
因此,“到了阈值”只意味着满足了一项触发条件,不保证一定启动,更不保证写出新记忆。记忆复盘允许返回 Nothing to save.。S4
2.5 手动复盘:/refine [关注点]
用户可以显式触发 /refine,复用相同的后台复盘机制,同时评估记忆和可用的 Skills,可附加关注点;不必等计数器达到阈值。显式路径可绕过自动复盘的 enabled / delegate / idle-defer 门控。S16 S18
2.6 会话结束与压缩:要区分内置记忆和外部 Provider
在本次固定版本中:
shutdown_memory_provider()、commit_memory_session()会通知已配置的外部记忆 Provider执行会话结束处理。- 压缩前通过
on_pre_compress()与外部 Provider 协作,支持提供上下文和可选的强制检查点。 - 会话切换的 Provider 操作按“旧会话结束提取 → 切换到新会话”串行执行,避免把旧记忆写到新会话。
- 这不等于内置
MEMORY.md路径在所有会话关闭时都强制执行一次完整总结,也不等于容器退出时必然生成 Skill。S19 S20 S21
应将“压缩摘要”“长期事实记忆”“Skill 提炼”视为不同输出,不把它们合并成一个万能总结动作。
三、后台复盘如何决定保存什么?
3.1 记忆:只保存有证据、值得长期保留的事实
复盘提示将两份记忆明确分开:
USER.md:用户身份、明确表达的长期偏好和行为期待。MEMORY.md:运行环境事实、项目约定、配置注意事项、重要路径或端点。
同一事实只进一个 Store;必须能在用户消息或工具结果中找到依据,不能根据语气、话题推断用户性格或能力,也不能把一次性要求自动升级为长期偏好。S4
当前执行提示还进一步强调:任务特定流程和纠正优先进入对应 Skill;普通记忆是适用于各类会话的窄例外。对研究中出现的宽泛文档表述,应以这一执行提示和实际工具路径为准。S1
3.2 Skills:提炼可复用方法,不写任务流水账
Skill 复盘关注这些信号:用户纠正方法或输出方式、出现有复用价值的技术/修复路径、已使用 Skill 缺步骤或过时。
更新优先级是:
- 修补当前已加载、相关的 Skill。
- 修补已经存在的同类任务 Skill。
- 给现有 Skill 增加按主题组织的
references/、templates/或scripts/。 - 实在没有合适归属时,才建立新的任务类别 Skill。
不应按每次任务或每个 Issue 建 Skill,不记录一堆原始报错,也不把未解决的失败尝试包装成验证过的最佳实践。重复发现的同一个经验,应改好同一条规则,而不是持续追加副本。S5
3.3 复盘是受限的 Agent 分支,不是无限递归
后台分支使用对话快照,通常复用父 Agent 的运行配置;分支内的记忆和 Skill 周期计数被关闭。工具执行端设白名单,默认只开放对应的维护工具及只读文件工具,普通文件写入和 terminal 不在默认白名单中;可以显式配置额外工具。S22 S23
新用户轮次可以取消正在运行的复盘,等待有界,不能让自我改进无限阻塞前台任务。S17
“复盘可修改 Skill”是实际能力;“复盘提示禁止把失败当成功”则仍主要依靠模型遵守。不能据此宣称 Hermes 为每次 Skill 更新都自动建立了独立测试环境并验证成功。
四、记忆与 Skills 存在哪?
内置路径按当前 Profile 的 Hermes home 解析,默认布局为:S2 S3 S24
~/.hermes/
memories/
MEMORY.md
USER.md
skills/
<skill>/
SKILL.md
references/
templates/
scripts/
.curator_ledger.jsonl
.curator_backups/
blobs/
state.db
MEMORY.md 默认上限为 2,200 字符,USER.md 默认上限为 1,375 字符,不是 token 上限。超过容量的写入会失败并反馈当前条目/整理要求,而不是静默截断或在存储层自动总结;Agent 需要调用工具整理。技能变更有带前后内容信息的审计账本和回滚支持,但账本记录是尽力而为的遥测,并非所有写入的强事务前置条件。S9 S24 S25
不能原样照搬成“多个 Agent 进程共享同一个 ~/.hermes 目录”。 官方明确要求一个 Hermes home 不要被两个 Agent 进程共用;不同 Agent 应使用独立 Profile,需要共享时使用外部记忆 Provider。这与我们要同时运行多类 Agent 的场景直接相关。S7
五、召回机制
5.1 小容量核心记忆:直接注入,不做向量 Top-K
加载时把两份 Markdown 记忆渲染成系统提示快照。会话中写入立即落盘,但不逐条改写当前系统提示,目的是保持前缀缓存稳定。下一次加载或上下文压缩后的提示重建会刷新快照;当前调用的工具返回值仍可提供实时状态。S2 S25 S26
因此,不应误写成“当前版本无论何种边界都只能等下一次新会话才能看到新记忆”。
5.2 Skills:目录索引 + 模型选择 + 按需加载
系统提示提供可用 Skills 的目录信息,并要求模型遇到相关任务先加载。skills_list 返回名称/描述等发现信息,skill_view 加载 SKILL.md,有需要再读取其中的引用文件。这个基础路径不是每轮向量检索所有 Skill 正文。S6 S27
5.3 历史会话:SQLite FTS5 全文检索
当用户提起过去的对话,或 Agent 判断存在相关跨会话背景时,提示要求使用 session_search。实际检索按会话链去重,支持搜索、读取指定会话、围绕消息展开、浏览近期会话;根据请求与排名返回不同详细程度的消息。S1 S28
本次版本的 session_search 明确不调用 LLM 做检索摘要,返回数据库消息。 上游 README 仍写着“FTS5 session search with LLM summarization”,与实现不一致,本文以工具源码为准。不应照抄旧的宣传描述。S28 S29
5.4 可选外部记忆:每轮预取与同步
默认 memory.provider 为空,即只有内置路径。配置外部 Provider 后,每轮开始根据用户原始消息预取相关记忆,平凡消息可跳过;完成的用户/助手交互同步到 Provider,压缩和会话结束另有生命周期回调。具体向量库、语义检索或用户建模能力由所选 Provider 决定,不能把某个 Provider 的行为说成 Hermes 内置默认行为。S9 S19 S30
六、长期维护:Curator 不等于每轮复盘
除即时/周期复盘外,还有独立的 Skill 库维护机制:
- 默认检查运行间隔为 7 天,最小空闲配置为 2 小时;只有调用者提供空闲时长时,入口才强制检查该时长。
- 首次观察只记录调度基线,不立即修改 Skill 库。
- 默认未使用 14 天标记 stale,30 天归档;受保护或非管理范围的 Skills 不按这一简单规则随意处理。
- 归档可恢复,不等于删除;基于 LLM 的 Skill 合并整理默认关闭,需要显式启用。
这是由空闲检查入口触发的维护机制,不是“每 7 天无条件启动一次训练”,也不是每次任务后的记忆提炼。S31 S32
七、写入保护也应一起模仿
只模仿“自动积累”而忽略边界,会放大错误:
- 后台修改现有 Skill 前必须在该复盘中重新读取目标内容,执行端有 read-before-write 检查。
- 锁定 Skill 可以拒绝修改,不能把 pinned 和 locked 混为一谈:pinned 主要保护删除,不代表禁止所有修补。
- 自动后台记忆复盘可走新增;对
patch/remove等破坏性操作,当前版本会暂存为待审批提案,不直接无人值守应用。 - 普通记忆写入还有可配置的
write_approval,默认关闭;不能声称所有写入默认都要人工批准。S9 S33 S34
这些代码保护不等于内容永远正确;调用成功也不代表提炼出的规则已经通过业务验收。
八、本项目如何采用
以下保留研究阶段结合 Lark → Agent 调度中心 → Worker → Meegle 流程提出的采纳建议,不是 Hermes 原生目录或配置声明,也不代表本项目全部采纳。后续已确认的“调度中心负责复盘并更新 Memory / Skills、Session history 全量保存为 JSONL”等进展,见 Memory、Skills 与 Session history:讨论纪要;本项目的当前讨论状态以该纪要为准。
8.1 保留 Hermes 的三层结构
- Memory:长期、跨任务成立的产品/环境事实与有权限的用户偏好。
- Skills:Worker 澄清、Coding、CI、E2E 各类工作的可复用方法。
- Session history:任务对话、工具调用、执行证据和检查点,支持搜索。
正式需求、卡片状态、Issue/PR 等仍在 Meegle / GitHub,不变成一份可能覆盖原始事实的记忆摘要。
8.2 存在持久层,而不是临时 Pod
可由调度侧的持久服务按产品、身份和任务授权访问。Agent 的执行环境只接收任务需要的记忆快照、Skill 索引及受限的检索/写入接口;不把所有 Agent 的个人偏好混进产品公共知识。
若直接运行 Hermes,使用独立 Profile + 外部 Provider 共享;若自行实现同类运行时,可在服务端维护同样的 Markdown/历史结构,再用单写入入口或版本校验控制并发。不要让多个 Pod 通过共享网络卷同时写同一个 SQLite 和 Hermes home。这是本项目部署建议,不是声称上游已经支持这种多租户服务。
8.3 复盘时机先对齐,但不能遗漏短任务
可以沿用以下默认策略作为起点:
- 运行中:明确事实或方法出现时主动保存。
- 长对话:约 10 个用户轮次评估记忆复盘。
- 复杂执行:约 10 次循环迭代评估 Skill 复盘。
- 用户要求:提供类似
/refine的显式复盘入口。 - 长期库维护:低频归档、可选合并、可回滚。
但我们的 CI/E2E Agent 可能短命,也可能属于委派子 Agent。原样复制默认计数和子 Agent 跳过规则,不保证每种 Agent 都产生经验。 若要覆盖这些 Agent,建议由调度中心收集执行记录,在任务/阶段结束且证据齐备后提交一个独立复盘作业;这是为了适应本项目新增的触发点,必须标记为扩展,而不是说 Hermes 默认就有。S12 S16
8.4 把 RSI 限定在流程和知识层
建议模仿的是:有证据的事实保存、已有 Skill 原位改进、必要时新建通用 Skill、按需召回、审计与回滚。共享产品 Skill 的发布审批可以比 Hermes 默认更严格,尤其不能让复盘绕过我们已经确认的人工 Tag、CI 返工 Issue 和上线门禁。
暂不需要推导成“Agent 自动改模型、改权限、改调度中心代码”。
源码索引
所有链接均固定到 2b31d7b283191b8069311fd3514ee89419f76516。