知识库/LLM 学习

Context Engineering

把上下文当作有限资源管理的工程学:attention budget、context rot、最小高信号 token 集原则

置信度·高创建 2026-07-03更新 2026-07-03依据 2 份原始资料

Context Engineering

prompt engineering 的自然演进:不再只问“提示词怎么写”,而是问“什么样的上下文配置最可能产生期望行为“——管理系统指令、工具、外部数据、消息历史的整体状态。Anthropic 两篇一手资料对此概念表述一致(context engineering 专文系统论述;Claude Code 最佳实践称上下文窗口是”最重要的待管理资源“)。

核心概念

  • attention budget:LLM 处理上下文有注意力预算,每个新 token 都在消耗。架构根源:transformer 的 n² 成对注意力随长度被拉薄。
  • context rot:token 越多,从上下文准确召回的能力越低;是渐变坡度而非悬崖。
  • 指导原则:找到最小的高信号 token 集合最大化期望结果概率。minimal ≠ short——信息要给足,但每个 token 都要挣到位置。

实践手段

  • system prompt 的“正确高度”:在硬编码脆弱逻辑与空泛指导之间——具体到能引导行为,灵活到能提供启发式。
  • just-in-time 检索:维护轻量标识符(路径、链接),运行时按需加载,代替预处理一切;配合渐进式披露逐层组装理解。模仿人类的外部索引系统(文件系统、书签)。
  • 长任务三技术:compaction(总结重启)、structured note-taking(agentic memory,笔记持久化到上下文外)、sub-agent 架构(隔离探索、回传蒸馏摘要)。

在本知识库中的应用

  • “先读 index.md 再深入页面”的导航规则 = just-in-time 检索 + 渐进式披露
  • query 三档位(quick/standard/deep)= 按需控制进入上下文的信息量
  • wiki 本身 = structured note-taking 的制度化,见 知识复利