一 概述

每周，我们都会看到有关检索增强生成 (RAG) 的新论文和新方法。RAG 架构随处可见：图 RAG、GraphRAG、HybridRAG、HippoRAG 以及无数其他变体。AI 社区已将 RAG 视为解决大型语言模型 (LLM) 诸多局限性的潜在解决方案。然而，随着我们构建更复杂的 AI 系统，尤其是以复杂方式与用户交互的对话代理，我们发现仅靠 RAG 是不够的。

本文探讨了为什么 RAG 尽管很实用，但与真正的记忆系统有着根本的不同，以及为什么我们需要超越 RAG 来开发具有更像人类的记忆能力的人工智能。正如我们所看到的，记忆不仅仅是检索信息——它还涉及理解背景、建立联想，也许最重要的是，知道要忘记什么。

二 RAG 的现状

检索增强生成已成为现代 AI 系统的重要组成部分。检索增强生成的核心工作原理如下：

1. 接收查询或提示

2. 通过知识库搜索来检索相关文档或段落

3. 将检索到的信息合并到语言模型的上下文窗口中

4. 根据输入和检索到的信息生成响应

举一个简单的例子：用户问：“巴黎气候协定的主要成果是什么?”标准 LLM 可能会根据其训练数据提供一般性答案，但这些数据可能已过时或不完整。然而，RAG 增强系统会首先搜索其知识库以查找有关巴黎气候协定的具体文档，提取有关其成果的相关段落，然后使用检索到的信息生成更准确、最新的响应。

RAG 已被证明对许多应用都非常有效，特别是在构建 AI 搜索功能或处理需要提供给 LLM 的大量数据时。它有助于将 AI 响应建立在事实信息的基础上，并减少幻觉(即模型生成看似合理但实际上不正确的信息的情况)。

例如，当 Meta 为 Llama 2 推出基于 RAG 的系统时，他们报告称幻觉率与基础模型相比降低了 20-30%。同样，为客户服务应用程序实施 RAG 架构的公司也发现对特定产品或政策问题的回答准确性有显著提高。

正如一位 RAG 开发人员所说：“如果您正在构建人工智能搜索，也许 RAG 是一种不错的方法，但如果您正在构建代理或对话代理或与用户交互的更复杂的东西，RAG 是不够的。”

当我们超越简单的问答，转向需要持续交互、个性化和适应不断变化的环境的更复杂场景时，这种局限性就变得明显。

三 为什么 RAG 不是真正的记忆

尽管 RAG 很有用，但它与人类记忆有几个基本区别：

1. 缺乏情节背景

在人类记忆中，信息并不是孤立存在的。事实总是被与其相关的事件、我们的生活经历和其他背景元素所包围。这种情景背景赋予事实更丰富的意义，并帮助我们更充分地解读它们。

想想你对从教科书中学到的历史事实的理解与通过强有力的纪录片或博物馆参观经历的历史事实的理解有何不同。情感冲击、视觉背景和叙事结构都会影响你存储和回忆这些信息的方式。正是这种丰富的背景元素让人类的记忆如此强大和细致入微。

例如，如果你通过一部纪录片了解了柏林墙的倒塌，其中采访了数十年分离后重聚的家庭，你对这一历史事件的记忆就会与你听到的感人故事交织在一起。当你后来回忆起有关柏林墙的事实时，这些情感元素很可能也会被激活，从而提供更丰富、更有背景的理解。

正如演讲中所解释的那样：“信息并不是孤立存在的——它不是百科全书知识。它总是被与之相关的事件、生活经历和其他事物所包围。你需要有情景记忆和背景才能对事实有更丰富的解读。”

RAG 系统通常仅根据语义相似性或相关性排名来检索信息，从而剥离了这一至关重要的情景背景。RAG 系统可能会检索一段描述柏林墙倒塌时间的段落，但它无法获取塑造人类如何理解和联系这些信息的情感或体验背景。

目前，RAG 的实现将文档视为孤立的信息单元，无法捕捉它们与特定体验、对话或互动之间的关系。这意味着，虽然 RAG 可以提供事实信息，但它缺乏情感共鸣和个人相关性，而正是这些正是人类记忆在学习和决策中如此有效的原因。

2. 限制联想记忆

我们的大脑通过复杂的联想网络来组织记忆。当你的大脑检索有关红色的信息时，它可能会自动检索相关概念，如橙色或其他语义相关的项目。这些联想机制是我们思考和推理的基础。

想想当你想到“海滩”时会发生什么。你的大脑可能会激活一系列相关概念：沙滩、海洋、防晒霜、假期、你去过的海滩的具体记忆、阳光照在皮肤上的感觉、海浪的声音。这些联想不仅仅是语义上的——它们涵盖了感官方式、情感、个人经历和抽象概念。

“你的语义记忆包含多个记忆包，你可以将它们一起检索，因为它们在语义上很接近。如果你的大脑检索到关于红色的记忆，它就会检索到关于橙色和其他相关事物的记忆——这就是我们大脑的组织方式。”

这种联想结构允许创造性的联系和洞察，远远超出简单的信息检索。您可能会在海浪的节奏和您正在创作的乐曲之间建立意想不到的联系，或者在海滩侵蚀模式和您正在尝试解决的业务问题之间建立意想不到的联系。

当前的 RAG 系统很难复制这种丰富的联想结构。即使是试图捕捉文档或概念之间关系的基于图形的方法，通常也依赖于预定义的连接类型或简单的共现统计。它们缺乏人类记忆所特有的多维、跨模态关联。

例如，RAG 系统可能会根据语义相似性将包含单词“海滩”和“海洋”的文档关联起来，但除非明确编程，否则它不会自动与相关的感官体验、情绪状态或抽象概念建立联系。

虽然基于图的 RAG 方法试图模拟此类联想结构，但它们仍无法达到人类记忆中丰富、多维的联想。在 AI 系统中建立有效的联想仍然是一项重大挑战。

3. 不加理解地检索

RAG 的最大限制可能在于它在不理解的情况下进行检索。正如演示文稿中所述：“您可以检索一些文档，可以构建 BM25 排名或其他对信息和相关性进行排名的方法，但您仍然不了解您检索的内容。”

考虑一个回答有关气候变化问题的 RAG 系统。它可能会检索并组合来自多篇科学论文、政策文件和新闻文章的信息。该系统可以找到包含相关关键字的文档，甚至可以使用 BM25 或神经嵌入等复杂算法按相关性对它们进行排序。但是，它并没有真正理解这些文档中讨论的科学概念、因果关系或政策含义。

这种缺乏理解的情况在处理细微的话题时尤其明显。例如，如果被问及气候变化与极端天气事件之间的关系，RAG 系统可能会检索到陈述统计相关性的段落，而不会掌握潜在的因果机制或围绕归因的科学争论。它可能会将来自不同来源的矛盾信息并列在一起，而不会认识到矛盾。

让我们来看一个更具体的例子：如果向 RAG 系统询问“碳定价如何影响产业竞争力?”，它可能会检索到提及碳定价和产业竞争力的文档。然而，如果没有真正的理解，它就无法独立评估不同研究的方法质量，无法识别行业资助的研究何时可能存在偏见，也无法掌握其中微妙的经济机制。它只是在匹配模式，却没有理解。

RAG 系统可以根据各种指标查找和排序信息，但它们不一定能像人类一样理解它们所检索到的内容。自然语言理解仍然是一个巨大的挑战，如果没有它，RAG 就只是在对符号进行混排，而不能掌握它们的含义。

4. 无遗忘机制

与直觉相反，人类记忆最重要的方面之一是我们的遗忘能力。“我们的大脑不是为了记住事情，而是为了遗忘事情。我们是遗忘机器。”

这种遗忘机制对于心理健康和认知功能至关重要。当它崩溃时，我们可能会遇到创伤后应激障碍和其他心理健康问题。当前的 RAG 系统通常不采用原则性遗忘机制，即优先考虑重要信息，同时丢弃无关信息。

想想当你搬到一个新城市时会发生什么。随着时间的推移，你会逐渐忘记旧社区的详细布局——每家商店的位置、小街道的名称——但会保留重要的信息和情感记忆。这种选择性遗忘至关重要;如果没有它，你在新环境中导航时就会被过去不相关的信息所困扰。

同样，当你换工作时，你会逐渐忘记旧工作场所日常流程的具体细节，但会保留你在那里获得的宝贵技能和知识。这种遗忘是适应性的，让你能够专注于新角色，而不会被过时的程序所困扰。

相比之下，当前的 RAG 系统通常会无限期地保留所有信息。它们可能会随着时间的推移为某些文档分配较低的相关性分数，但它们没有真正“忘记”过时或不相关的信息的机制。这可能导致几个问题：

• 信息过载

  ：随着知识库的增长，检索变得越来越具有挑战性且计算成本越来越高。

• 过时的信息

  ：如果没有主动遗忘，过时的信息会一直存在于系统中。例如，RAG 系统可能会检索旧的产品规格或已弃用的 API 文档与当前信息混合在一起。

• 上下文混淆

  ：对于对话系统来说，无法忘记可能会导致混乱，因为系统试图保持与曾经被告知的一切的一致性，即使上下文发生变化。

“想象一下，如果你有一个永远不会忘记任何事情的朋友——与他们建立关系将非常复杂。”同样，没有遗忘机制的对话代理随着时间的推移会变得难以操作，因为它们会保留每一条信息，而不管其当前相关性如何。

例如，想象一下一个客户服务人工智能，它能记住客户多年来与公司的每一次互动。如果没有适当的遗忘机制，它可能会不断提起很久以前已解决的问题或应用过时的政策。这会给客户带来令人沮丧的体验，并降低人工智能系统的效率。

四 为什么 RAG 不足以支持高级 AI 系统

除了作为记忆系统的概念限制之外，RAG 还面临着一些实际挑战，这些挑战限制了其构建真正先进的 AI 的有效性：

1. 上下文窗口约束

即使有检索，LLM 也受到上下文窗口的限制。需要综合来自多个来源的信息的复杂推理可能会超出这些限制。

假设有一名法律助理 AI 正在协助准备一个涉及数百个先前案件、法规和法律意见的案件。即使 RAG 系统可以识别相关文件，语言模型的上下文窗口也可能一次只能容纳其中的一小部分信息。这迫使人为地对信息进行分块，从而破坏重要的联系，并限制系统对相关材料的全部范围进行推理的能力。

同样，想象一下一个医疗诊断系统需要考虑患者的全部病史、相关医学文献、类似病例研究和当前症状。上下文窗口限制造成的碎片化可能会阻止系统在遥远但相关的信息之间建立联系。

随着我们从简单的事实检索转向复杂的推理任务，这些限制变得越来越成问题。虽然上下文窗口已大幅增加——从早期 GPT 模型中的 2,048 个标记增加到最近系统中的 32,000 个或更多——但它们仍然施加了人类记忆不会遇到的人为限制。人类可以在需要时无缝整合相隔数十年的经验信息，而不会对我们一次可以考虑的上下文数量进行任意限制。

一些研究人员提出了滑动窗口方法或递归摘要技术来解决这些限制，但这些解决方法也带来了自身的问题，包括潜在的细节丢失和计算开销增加。

2. 检索质量瓶颈

RAG 的好坏取决于其检索组件。检索效果差(无论是由于索引不足、查询不精确还是知识库内容不足)都会导致生成效果差。

在处理细微查询时，这一点尤为明显。例如，如果用户问：“在刑事量刑中使用预测算法会带来哪些伦理影响?”，那么回答的质量完全取决于系统是否能够检索到专门涉及伦理层面的文档，而不仅仅是预测算法的技术方面或有关刑事量刑的一般信息。

处理以下情况时，检索难度会更大：

• 隐性信息需求

  用户的查询没有明确提及其信息需求的所有相关方面。例如，“这项投资是个好主意吗?”意味着需要有关风险、回报、市场状况和用户财务目标的信息，但这些信息都没有明确提及。

• 不断发展的主题

  针对术语尚未标准化或相关信息分散在使用不同术语的文档中的新兴主题。

• 概念查询

  需要概念理解而不是事实检索的问题，例如“确认偏差如何影响科学研究?”

当前的 RAG 系统经常难以应对这些挑战。向量相似性搜索虽然功能强大，但可能会遗漏使用不同术语或从不同角度处理主题的相关信息。将语义搜索与关键字匹配相结合的混合检索系统有助于解决其中一些问题，但仍达不到像人类一样理解信息需求的程度。

3.静态知识表示

大多数 RAG 实现使用固定向量表示，这些表示不会根据新的理解或信息之间的联系而发展。

考虑一下人类对概念的理解是如何随着时间的推移而演变的。当你第一次学习像量子物理这样的复杂主题时，你可能会形成一个基本的心理模型。随着你学到更多，这个模型会变得更加细致入微，并与其他知识相互关联。当你在不同的背景和应用中遇到“叠加”或“纠缠”等术语时，你对它们的理解会不断演变。

相比之下，大多数 RAG 系统将文档表示为静态向量，一旦创建就不会改变。如果出现新的信息，改变了现有文档的含义或重要性，系统不会自动更新其表示以反映这些变化。

例如，包含医疗信息的 RAG 系统可能包含有关特定治疗方法的文档。如果出现新的研究表明这种方法无效或有害，系统不会自动更新现有文档的矢量表示以反映其作为过时或有争议信息的新状态。

一些先进的 RAG 系统尝试通过定期重新索引内容或使用增量更新来解决这个问题，但它们仍然缺乏人类概念理解的动态、自适应特性。

4. 缺乏自我反省

正如演讲中提到的：“RAG不具备自我反思和自我完善的功能。”如果没有评估检索信息质量和相关性的能力，RAG系统就无法迭代地提高自身的性能。

人类的记忆和认知涉及不断的自我监控和评估。当试图回忆信息时，我们会感觉到自己的记忆是否准确或完整。我们可以认识到知识上的差距，或者确定何时需要寻求更多信息。这种元认知意识对于有效学习和解决问题至关重要。

例如，当医生诊断有异常症状的患者时，他们可能会意识到这种模式与他们熟悉的任何疾病都不完全相符。这种意识促使他们查阅其他资源、征求专家的意见，或考虑他们通常不会在鉴别诊断中包括的罕见疾病。

当前的 RAG 系统缺乏这种自我意识。当它们检索与查询仅间接相关的信息时，它们通常没有机制来识别这种不匹配或相应地调整其检索策略。它们无法识别知识库中的差距，也无法识别何时检索到的信息不足以回答问题。

一些先进的 RAG 实现结合了相关性反馈或不确定性估计，但这些方法与人类的元认知能力仍相去甚远。如果没有这种自我反思，RAG 系统就无法有效地从错误中吸取教训或根据过去的表现调整策略。

五 是什么让记忆真正成为记忆

为了超越 RAG 实现更像人类的 AI 记忆，我们需要包含以下功能的系统：

1.多模态记忆结构

人类记忆在不同模式、语言和信息类型中运作。先进的人工智能记忆系统需要“具有对事物理解的丰富结构表征”，可能包括多语言结构，其中不同的语言可以表示相同的概念。

我们的记忆并不局限于单一的格式或形式。我们通过相互关联但又各具特色的记忆系统来记住面孔、声音、气味、情绪、事实、过程和叙述。每一种形式都有助于丰富、多维度地呈现我们的经验和知识。

回想一下你对童年生日聚会的记忆。你可能还记得：

• 视觉元素：装饰、蛋糕、人物的脸

• 声音：笑声、生日歌、特定对话

• 情绪：兴奋、喜悦，或许还有一些失望

• 程序记忆：如何玩你玩过的游戏

• 语义信息：当时有谁在场、你几岁、你收到了什么礼物

这些不同类型的信息通过不同但相互关联的记忆系统存储和访问。当一个元素被激活时，它通常会触发跨模态的相关记忆。

当前的 AI 系统(包括 RAG)通常在单一模态(通常是文本)内运行。即使它们处理图像和文本等多种模态，它们也经常将所有内容转换为单一的表示格式(如嵌入向量)，从而丢失了不同类型信息的独特特征。

例如，海滩日落的记忆包含视觉成分(天空的颜色、沙滩的质地)、听觉成分(海浪的声音)、情感成分(平静或敬畏的感觉)，以及可能的语义成分(关于日落为何呈现特定颜色的知识)。真正的多模态记忆系统会保留这些不同的方面，同时保持它们的相互联系。

先进的人工智能记忆系统应该支持：

• 不同类型的信息有区别但又相互关联的表示

• 跨模态关联

  允许激活跨模态传播

• 尊重不同类型信息独特特征的模态特定处理

• 统一访问

  无论原始形式如何，都可以检索相关信息

该方向的一些有前景的研究包括多模态变换器、跨模态检索系统以及将神经表征与符号推理相结合的神经符号架构。

2. 主动重建

“回忆是一种主动构建——我们提取记忆并在飞行中构建它们。”例如，海马体负责时间轴和时间重建。这种主动构建过程使我们能够模拟未来并思考各种可能性。

人类记忆并不像录像那样，可以准确回放存储的内容。相反，它是一个重建过程。当我们回忆时，我们不会简单地检索完整的记忆;我们会从片段中重建它，根据图式、期望和相关记忆填补空白。

想想当你回忆上周的一次谈话时会发生什么。你不会一字不差地记住每一个字。相反，你会重建谈话的要点，也许会准确地记住几个关键短语。你会根据对谈话对象的理解、谈话的背景以及对讨论主题的了解来填补空白。

记忆的这种重建特性有几个重要的含义：

1. 记忆是创造性的

   我们不只是检索;我们每次回忆时都会重新创造记忆。这使我们能够根据当前的需求和环境调整记忆。

2. 记忆是可塑的

   我们的记忆可以随着时间而改变，因为我们会以略有不同的方式重建它们，融入新的信息或观点。

3. 记忆支持想象力

   帮助我们重建过去事件的机制也使我们能够想象未来的情景或反事实的情况。

当前的 RAG 系统缺乏这种重构性。它们会检索现有的文本段落，但不会主动重构信息以适应当前上下文或填补检索到的片段之间的空白。它们可以组合或总结检索到的段落，但这还不是真正的重构记忆。

例如，如果询问有关气候变化的某个特定方面，而该方面在其知识库中的任何单个文档中都没有直接涉及，RAG 系统可能会检索到几个不相关的文档，但很难重建所需的具体信息。相比之下，人类专家可能会通过结合来自不同来源的知识片段来重建答案，根据对该领域的一般理解填补空白。

虽然这有时会导致错误记忆，但这种主动重建对于真正先进的记忆系统至关重要。没有它，我们只能进行检索，而不是真正的记忆。

先进的人工智能记忆系统应该包括：

• 基于模式的重建

  使用一般知识结构来填补特定记忆的空白

• 情境敏感回忆

  使重建的记忆适应当前的需求和情境

• 建设性模拟

  能力超越检索，支持想象和反事实推理

• 对重建元素进行置信度估计

  以区分直接检索到的信息和推断或重建的组件

生成检索模型和神经图式网络的最新研究表明，这个方向很有前景，但要实现真正像人类一样的重构记忆，还有很多工作要做。

3. 联想记忆网络

记忆应该是联想性的，在相关概念之间建立丰富的语义联系。这些关联允许更灵活、更像人类的推理。

人类记忆从根本上来说是一种联想。概念、经验和事实在复杂的联想网络中相互联系，从而实现灵活的检索和创造性联系。与传统计算机存储系统的僵化、分层组织不同，联想记忆使我们能够通过多种途径访问信息，并建立意想不到的联系，从而产生洞察力和创新。

考虑一下如何检索有关“巴黎”的信息。根据上下文，您可以通过以下方式访问此信息：

• 地理联想(它在法国，它是欧洲首都)

• 文化协会(艾菲尔铁塔、法国美食、艺术博物馆)

• 个人交往(你在那里度假，有朋友住在那里)

• 历史关联(法国大革命、第二次世界大战事件)

• 文学或艺术联想(海明威的《流动的盛宴》、印象派绘画)

这些丰富、多维的联想使检索变得灵活且适合上下文。如果你正在计划一次旅行，你的大脑可能会激活与旅行相关的联想;如果你正在讨论艺术史，它可能会激活与艺术相关的联想。

当前的 RAG 系统通常依赖于基于相似性的检索，而这种检索缺乏这种丰富的关联结构。系统可能会根据与查询的整体相似性来检索文档，但系统不会维护不同信息之间的明确关联，而这种关联可以实现更灵活、更有创意的检索路径。

例如，如果用户询问“创新的城市交通解决方案”，传统的 RAG 系统可能会检索包含类似术语的文档。联想记忆系统可以激活相关概念的网络——自行车共享计划、拥堵收费、自动驾驶汽车、城市规划原则——即使这些概念并未在查询中明确提及。

先进的人工智能记忆系统应该包括：

• 明确表达

  概念、事实和经验之间的关联

• 多种类型的关联

  (语义、时间、因果等)，捕捉信息关联的不同方式

• 关联强度

  反映不同信息之间的联系强度

• 取决于当前焦点和目标的情境关联激活

• 扩散激活

  机制，使检索能够遵循关联链

图神经网络、联想记忆模型和知识图谱的研究为构建此类系统提供了有希望的方向，但创建真正像人类一样的联想记忆仍然是一项重大挑战。

4. 自适应遗忘

“没有遗忘，记忆就无法发挥作用。”遗忘与注意力密不可分——决定哪些信息值得关注，哪些可以丢弃。

与普遍的看法相反，遗忘不仅仅是记忆力下降，它是一种适应性功能，有助于我们在复杂多变的世界中有效运作。通过选择性地保留重要信息，同时丢弃无关信息，我们的记忆系统优化了实用性，而不是完美回忆。

想象一下，如果你记住了过去五年每天上下班的每一个细节——你经过的每一辆车、你看到的每一个行人、你路线上的每一个细微变化，会发生什么。这些信息会淹没你的记忆系统，干扰你回忆真正重要信息的能力。相反，你的大脑会聪明地保留稳定、重要的特征(大致路线、著名地标)，同时丢弃无关的细节。

遗忘有几个至关重要的功能：

1. 减少干扰

   通过丢弃过时或不相关的信息，遗忘有助于防止对新信息的学习和重要信息的回忆造成干扰。

2. 促进概括

   忘记具体的细节有助于从经验中提取一般的模式和原则。

3. 适应不断变化的环境

   随着我们环境的变化，遗忘使我们能够相应地更新我们的记忆和行为。

4. 情绪调节

   忘记痛苦经历(或至少减少其情绪影响)的能力对于心理健康至关重要。

当前的 RAG 系统通常缺乏原则性的遗忘机制。它们可能实现了简单的基于时间的衰减或相关性阈值，但这些远远达不到人类记忆中复杂的、情境敏感的遗忘过程。

例如，使用 RAG 的对话式 AI 可能会无限期地保留过去对话的每个细节，随着知识库的增长，导致检索结果越来越不相关。如果没有自适应遗忘，系统可能会继续检索有关用户过去兴趣或需求的信息，即使这些信息发生了重大变化。

先进的人工智能记忆系统应该包括：

• 重要性加权记忆

  根据信息的实用性、情感意义以及与当前目标的相关性，对信息的记忆进行优先排序

• 情境敏感遗忘

  根据环境变化或用户需求调整遗忘率

• 基于干扰的遗忘

  考虑不同记忆如何相互干扰

• 战略巩固

  过程可以强化重要的记忆，同时让不太重要的记忆逐渐淡去

最近关于具有控制遗忘、自适应记忆网络和强化学习方法的神经网络对记忆优化的研究表明了这一方向的前景。

5. 层级组织

记忆系统应该是分层的，以表示我们的语义层次结构，允许不同级别的抽象和概括。

人类记忆同时在多个抽象层次上运作。我们可以放大来回忆具体细节，也可以缩小来访问一般原则和类别。这种分层组织允许高效存储、灵活检索和强大的泛化能力。

考虑一下你对动物的了解是如何组织的：

• 在最高层次上，你有“动物”的一般概念

• 在其下，你可能有“哺乳动物”，“鸟类”，“爬行动物”等类别。

• 每个类别都包含子类别(例如，“哺乳动物”包括“灵长类动物”、“食肉动物”、“啮齿动物”等)。

• 在较低级别，有特定物种(例如“老虎”、“大象”)

• 在最详细的层面上，你可能会有具体的例子(例如，“我去年在动物园看到的老虎”)

这种层次结构允许您：

• 根据新实例的类别成员身份对其进行推断

• 访问适合特定任务的详细程度的信息

• 将知识从具体实例推广到更广泛的类别

• 在不同抽象层次之间有效导航

当前的 RAG 系统通常缺乏这种丰富的层次结构。虽然它们可能使用聚类或分类方案来组织文档，但这些方法通常无法捕捉到表征人类概念知识的嵌套多层级层次结构。

例如，如果用户询问“欧洲城市的交通选择”问题，传统的 RAG 系统可能会检索包含这些术语的文档。分层组织的记忆系统可以识别特定交通方式(公交车、有轨电车、地铁)、特定城市(巴黎、柏林、巴塞罗那)及其所代表的一般概念之间的关系，从而做出更细致入微、更全面的回答。

先进的人工智能记忆系统应该包括：

• 明确表示

  不同抽象层次上概念之间的层次关系

• 根据当前需求在层次结构的不同级别之间灵活导航

• 允许属性和关系在层次结构中传播的继承机制

• 可以跨不同抽象层次进行推理的分层推理能力

分层神经网络、概念格和基于本体的知识表示的研究为构建此类系统提供了有希望的方向。

六 人工智能记忆系统的前景

有几种方法有望开发更复杂的人工智能记忆系统：

在不同时间尺度和抽象层次上运行的分层内存架构

最近的研究探索了多级记忆架构，将快速变化的工作记忆组件与更稳定的长期记忆系统相结合。这些方法通常使用不同的编码机制和更新规则来处理不同类型的信息和不同的时间尺度。

例如，分层变换器记忆 (HTM) 等系统使用嵌套注意力机制来捕获不同抽象级别和不同时间尺度的信息。有些系统使用快速变化的记忆缓冲区来存储近期背景，同时使用变化较慢的组件来存储稳定知识，模仿人类记忆的互补学习系统理论。

• 基于事件的记忆系统

  利用时间图来捕捉事件随时间变化的关系

基于事件的方法围绕离散事件及其时间和因果关系来组织记忆。这些系统可以捕捉简单的文档检索系统所遗漏的叙事结构和情节背景。

例如，以事件和实体为中心的知识图谱研究构建了事件、参与者及其时间和因果关系的明确表示。这些结构化表示可以支持关于事件序列、其原因和后果以及它们与更广泛的历史或个人叙述的关系的更复杂的推理。

• 联想记忆网络

  在相关概念之间建立丰富的语义联系

联想记忆网络明确地表示不同信息之间的联系，允许灵活、多路径检索和看似不同的概念之间的创造性联系。

最近的方法包括基于联想记忆的知识图谱，它将语义网络结构与神经嵌入相结合，以捕获概念之间的显性和隐性关系。一些系统实施了扩散激活机制，允许检索遵循关联链，模仿人类回忆的联想性质。

• 神经符号方法

  将神经网络与符号推理相结合，以更好地表示和处理信息

神经符号系统将神经网络方法(擅长模式识别和泛化)与符号推理(擅长明确表示和逻辑推理)相结合。这些混合方法既可以捕捉数据中的统计模式，又可以捕捉人类知识的结构化、组合性。

例如，神经逻辑机和神经符号概念学习器等系统使用神经网络来学习概念和关系的表示，并结合符号推理机制根据逻辑规则操纵这些表示。这种方法既可以支持灵活的模式识别，也可以支持精确的逻辑推理。

• 遗忘机制

  可以策略性地决定保留哪些信息以及丢弃哪些信息

自适应遗忘方法根据相关性、重要性和干扰可能性等因素，实施原则机制来确定保留哪些信息和丢弃哪些信息。

最近的研究包括自适应遗忘神经网络，它实现了可学习的遗忘率，该遗忘率取决于不同信息的重要性和效用。一些方法使用强化学习来优化遗忘策略，最大限度地提高保留信息的效用，同时最大限度地减少内存和计算成本。

七 小结

RAG 代表着向更强大的 AI 系统迈出了重要一步，该系统能够获取外部知识。然而，将 RAG 等同于记忆却不符合人类记忆系统丰富、动态和综合的本质。

当我们致力于开发更先进的人工智能，尤其是对话代理和以复杂方式与人类互动的系统时，我们需要超越简单的检索。我们需要开发能够真正记忆、反思和从经验中学习的系统——理解情境、联想甚至遗忘的重要性的系统。

考虑以下之间的区别：

• 可以检索包含“气候变化适应”一词的文档的搜索引擎

• 能够根据自己对该领域的理解讨论气候适应策略、与相关概念建立联系、回忆相关示例并结合来自不同来源的信息构建新见解的同事

第一是检索，第二是真正的记忆。随着人工智能系统越来越融入我们的生活和工作，我们需要它们更像同事而不是搜索引擎。

这并不意味着放弃 RAG——它仍然是将 AI 系统建立在事实信息基础上的宝贵工具。但这确实意味着要认识到它的局限性，并努力用更复杂的记忆机制来补充它，以捕捉人类记忆的主动性、建设性、联想性和适应性。