学习、记忆与行动可靠 AI 智能体的基础

研究愿景

人们采取行动时，会观察环境、调用已有知识、查阅外部记录，或向他人获取信息。AI 智能体同样通过观察环境、使用工具，以及与人类或其他智能体互动来实现目标。我关注单个智能体的两个关键组成部分：基础模型负责编码内部知识、理解信息和提出行动；运行框架（harness，也可理解为控制系统）则连接模型与外部世界。运行框架将观察结果和检索记录组织成模型输入，执行工具调用，并返回结果。

模型的内部知识来自训练，编码在参数中；外部信息则在任务执行期间，通过检索记录、工具输出或与其他参与者互动获得。两者都可能不完整或存在错误。由此产生几个问题：模型能否根据已有信息判断自己成功的可能性，识别何时需要寻求外部帮助？当模型表达这一判断时，其他参与者能否据此形成对其能力的准确预期？

这些问题联系着智能体对自身、环境和其他参与者的建模。智能体应能够从经验中收集证据，了解自己能完成哪些任务、环境如何回应自己的行动，以及其他参与者知道什么、能够做什么。我计划研究这些证据如何被学习、回忆和使用。随着经验积累，智能体也需要修正已有知识。理解它们如何识别并落实这些修正，是保障行为长期可靠的重要一步。

学习与编码

什么应被内化，什么应保留在外部？

研究基础

在 Rote Learning Considered Useful¹ 中，我们表明，模型学会如何解释所记住的关联后，可以利用这些数据进行泛化。我也与同事合作，研究训练过程中记忆化与学习的关系²，并在受控的形式语言任务中比较微调与上下文学习的效果³。这些研究区分了对数据样本的记忆和对可复用规律的学习，也推动我们进一步比较通过参数学习与通过上下文学习。

未来方向

部署在动态世界中的智能体会收到环境反馈。我希望研究：何时应利用经验更新模型参数，何时应将经验保留在外部存储中。一种假设是，稳定、反复出现的规律更适合通过参数更新学习，而变化频繁或依赖具体情境的信息更适合保存在可更新的显式记录中。用户建模提供了具体的比较场景：共享模型可以使用检索到的个人历史，而个性化模型可以在参数中学习个人特有的规律。比较这些方法，有助于理解它们在新场景迁移、适应和纠错方面的差异。

一个关键比较是：调整运行框架、模型权重，或同时调整二者，分别能在多大程度上改善智能体表现？保持基础模型不变、通过记忆实现适应的方法⁴提供了实际的研究起点。让这三种方法使用相同的经验，可以检验参数更新何时有效，以及各方法落实纠正的难易程度。此外，模型学到的规律也可以被表达成可检验的陈述，供用户或外部辅助机制审查与修改。

记忆与检索

智能体如何获取并结合内部与外部知识？

研究基础

我的研究关注模型保留了哪些信息，以及何时能够提取这些信息。我们首先尝试提取参数中的潜在知识⁵，这些知识可能在其他提示方法下无法显现。我们对对话平台记忆系统的分析⁶考察了用户历史的哪些部分会转化为持久的外部记忆，以及其中保存了什么类型的信息。关于时间上下文恢复的研究⁷则考察模型如何利用长上下文中的信息恢复事件顺序。这些结果支持这样的观点：智能体若要长期运行，需要同时保留经历及其发生时的情境⁸。

未来方向

接下来的研究中，我关注运行框架如何根据模型的内部知识和不断变化的环境，选择并提供基础模型需要的信息。现有检索与记忆管理方法提供了不同的相关记录获取机制。^{9, 10, 11, 12} 我的出发点是：检索不仅应取决于任务，还应考虑模型已经知道什么。问题在于，模型是否需要检索得到的信息，以及如何将其与内部知识结合。外部记录可以长期保存，但只有运行框架将其放入当前上下文后，模型才能使用它。

在变化的环境中，还需要问：过去哪些成功与失败经验对现在有参考价值？一次成功可能依赖于如今已不可用的工具或协作者。将常规检索与包含相关证据的参考上下文进行比较，可以区分信息获取失败和信息理解失败。同样的方法也可以用于研究：当协作者能力改变时，智能体如何修正对它们的预期。

行为与智能体行动

内部与外部知识应如何指导智能体决策？

研究基础

在 To Call or Not to Call¹³ 中，我们从必要性、效用和成本可承受性三个维度评估工具调用决策，识别模型感知的需求与基于实际结果的参考决策之间的偏差，并开发基于隐藏状态的估计方法来改善工具使用。合作研究还考察了潜在的信息来源偏好¹⁴和生成式网络搜索中的差异¹⁵。我正在开展的关于模型采纳工具输出的研究，进一步探究内部知识与外部证据的冲突。这些项目将知识评估与可观察的信息获取、使用行为联系起来。

从知识到行动

智能体能否充分准确地预测成功概率，从而选择直接行动、获取信息，或寻求帮助？关于答案正确性的既有研究¹⁶考察了模型能否估计自身答案正确的概率。我关注的是行动结果：成功还取决于工具、检索到的经验和执行条件。因此，能力评估需要考虑智能体所处的具体情境，而不只是基础模型本身。

初步实验将分别改变内部知识与外部证据，涵盖两者一致和冲突的情况。模型自述、内部表征和执行历史，都可作为条件改变时预测成功的候选信号。可靠决策既需要接受有充分依据的纠正，也不能盲从外部说法。我将结合任务完成情况、信息获取成本和会造成实际后果的错误，评估相应的决策策略。

能力表达与多智能体协作

选择向谁求助，需要判断另一个智能体能做什么。学习何时交由专家决策的研究¹⁷提供了在模型预测与专家决策之间进行选择的方法；人类与 AI 互动研究¹⁸则衡量人们是否恰当地接受或拒绝 AI 建议。这些工作为我研究智能体与人类之间的协作提供了方法基础。我区分三类失败：自我评估不准确、能力表达不准确，以及接收者理解错误。

能力声明将不同智能体的内部与外部知识联系起来。对表达者而言，它体现了基于已有知识和执行证据的判断；对接收者而言，它是需要结合先前预期与互动历史衡量的新证据。研究问题是：接收者何时应接受这项声明、要求提供支持证据，或更加重视观察到的实际表现？

为了区分实际能力与能力表达的影响，实验将控制工具访问权限和任务知识，同时改变能力描述与互动历史。人类及其他智能体将预测表现，并选择向谁咨询、委托任务，或核查结果。预测准确性、错误委托、核查成本和共同完成任务的成功率，分别反映这些判断的不同后果。改变能力以及私有、共享信息的可用性，可以检验协作者会更新预期，还是会放大同一个缺乏依据的信念。目标是让依赖程度与实际能力相匹配。

实验场景与长期目标

个性化智能体与人类行为模拟，为这套基础研究提供了实验场景。个性化考察关于某个人的知识能否支持新任务，以及能否适应其偏好的变化；模拟则考察智能体能否在给定的信息与社会条件下再现行为。生成式智能体架构¹⁹及关于集体推理的实证研究²⁰为这些测试提供了启发。其中一个问题是：基础模型的一般知识是否会泄漏到本不应掌握这些知识的被模拟者身上。提供有效帮助本身，并不能证明模拟忠实于人的行为。

在这些场景中，对参数、上下文与记忆进行可比的干预，有助于区分学习、信息获取、理解和行动各环节的失败。能力估计将与实际结果比较，能力表达将与模型的估计比较，接收者的预期则将与后续协作表现比较。这将个体学习与智能体如何理解、信任彼此联系起来。

我的长期目标是：通过理解内部与外部知识的相互作用，构建可靠、可控的 AI 系统——研究经验如何成为知识、知识如何变得可访问，以及如何支持个体和集体行动。这三个主题构成持续的研究主线；随着我们更好地理解模型权重、记忆和互动的作用，具体方法也可以不断发展。