知识库/LLM 学习

知识复利:Wiki 与 Memory 同源

Karpathy 的编译式 wiki 与 Anthropic 的 structured note-taking 是同一思想在不同尺度的表达:把知识写到上下文之外,越用越厚

置信度·高创建 2026-07-03更新 2026-07-03依据 2 份原始资料

知识复利:Wiki 与 Memory 同源

两份独立来源——Karpathy 的 LLM WikiAnthropic 的 context engineering——从不同出发点收敛到了同一个结论:LLM 的工作记忆(上下文窗口)不持久(Anthropic 并进一步指出其不可靠——context rot),长期价值必须写到上下文之外的持久结构里。

两条推理路径

Karpathy 路径(知识管理出发):RAG 每次查询从零拼凑 → 没有积累 → 让 LLM 把资料编译成持久 wiki → 交叉引用、矛盾标记、综合分析都成为一次构建、持续复用的资产。

Anthropic 路径(agent 工程出发):上下文是有限资源(attention budget / context rot)→ 长任务撑不进一个窗口 → structured note-taking / agentic memory:agent 把笔记持久化到上下文外、稍后拉回 → Claude 玩 Pokémon 能跨数千步维持连贯策略。

收敛点

LLM Wiki Agentic Memory
持久层 wiki 页面(markdown 文件) NOTES.md / memory 文件
写入时机 ingest / query 归档 任务过程中定期记录
读回机制 index.md 导航 + 按需读页 上下文重置后读回笔记
复利效应 库越用越厚,答案可归档 跨会话保持项目状态

本质相同:外部化 + 结构化 + 按需读回。区别只在尺度与场景——wiki 面向长年知识积累,agentic memory 面向单任务的连贯性。

对本知识库的推论

  1. 本知识库同时是两者:对人是 LLM Wiki(终身知识库),对维护它的 agent 是 agentic memory(跨会话状态)。
  2. “好答案归档回 wiki”(query 归档规则)之所以重要,正是因为不归档的探索只存在于会被丢弃的上下文里——归档动作就是把工作记忆转为长期记忆。
  3. index.md 先行的导航规则同时服务两端:对 LLM 是 just-in-time 检索(省 attention budget),对人是渐进式披露。

相关概念:LLM Wiki 模式context engineering