说到上下文工程,其实就是在合适的时机把AI需要的所有东西都给它——指令、示例、数据、工具、历史记录,全部打包塞到模型的输入上下文里。
这么理解会比较直观:语言模型就像CPU,上下文窗口就是工作内存。我们要做的就是往这块内存里装合适比例的代码、数据和指令,让模型能把事情做对。
上下文的来源很多:用户的查询、系统指令、搜索结果、工具输出,还有前面步骤的总结。上下文工程的核心在于把这些碎片实时组装成一个连贯的输入,不是静态的prompt,而是根据任务动态构建的东西。
最近大家对长上下文窗口特别兴奋。新的前沿模型能处理100万token,很多人觉得这就是智能自主agent的终极解决方案。因为这个想法很简单:窗口够大的话,就把所有东西都塞进去——工具、文档、日志、指令、历史,让模型自己处理。
https://avoid.overfit.cn/post/70786bc9cdc24b1fbb52c6cb720c29fe