记忆的首要任务是遗忘
记忆的首要任务是遗忘。
这是我在研究如何为AI系统设计记忆机制时得出的结论。我折腾了半天“怎么记”,最后发现答案居然是“该怎么忘”。那一刻真的有种大彻大悟的感觉。
大语言模型本身是没有记忆的。你每一次调用它,对它来说,都是一次“人生若只如初见”。它对你的全部认知,都来自你当下这次给它的提示词。
但你肯定发现了,和ChatGPT聊天时,它能记得你们对话的前言后语。这是因为GPT 模型本身虽然没有记忆,但ChatGPT作为一个产品系统,可以调用你的历史对话记录。在跟你交谈的同时,ChatGPT会在后台不断地对你们的对话进行总结压缩,并在下一轮对话中,把这些精简后的上下文重新附加进新的提示词里,一并交给模型。
所以,它没办法记住你,只能在每一轮对话中,不断地向模型重新介绍你。这是一种什么感觉?推荐大家去看一部老电影 The Notebook - 《手札情缘》。
你们聊得越多,需要重新介绍的内容就越多,最终会达到模型所能接受的上限。到那时,你就会发现,ChatGPT会慢慢忘记你们以前聊过的东西。如何在有限的上下文中,保留最有价值的信息,合理遗忘前文,从而高效地使用大语言模型,这就是所谓的上下文工程。
到这里为止,我们讨论的,其实都还只是上下文层面的记忆。
如果我们希望AI能更多的了解我们,甚至记住我们所有的互动,就需要在模型之外,额外设计一套独立的记忆系统,用来保存和管理这些数据。最近爆火的OpenClaw,就把记忆作为核心能力之一。Claude也号称研发出永久记忆。ChatGPT不止记得上下文,还记得你们的所有对话,所以能给你做年度总结,甚至把你类比成一个名人,对你一顿夸,情绪价值拉爆。
(你如果想要得到这个体验,可以尝试将如下提示词喂给ChatGPT:基于你对我的所有了解,生成一位最能象征我人格的著名人物的形象 - 这个人物可以是现实中的,已经去世的,或是虚构的。)
机器的优势是可以存储大量的数据,读取速度也快。所以AI可以比人类拥有更强大的记忆。但真正困难的,并不是能不能存,而是:何让模型高效地使用这些数据,来支持每一次分析判断。
记忆的意义,从来不是保存过去,而是为下一次判断和决策服务。
这不是简单地把全部内容存入向量数据库,再用上RAG技术来提取。要高效地使用记忆,ChatGPT 的设计宗旨反而非常克制:
默认不记:任务完成就忘记。除非有明确价值,否则不进入长期记忆。 只记稳定的:只保存长期有用,可反复复用的信息,比如身份,职业,爱好等。 只记结论:不存中间过程中的细节,只存高度抽象后的“结论性信息” 可以选择记忆:用户明确说明的就记忆,其余自动遗忘。
人类一直羡慕机器记得多,但真让人类拥有机器那样的“全量记忆”,大多数人可能三天就疯了。所以,遗忘真的很重要,人类生来就拥有,这可能是造物主的精心设计。
人类最强大的能力之一,不是存储,而是删库。凡人大多纠结于琐事,忘不掉,放不下。智者就知道选择性遗忘,学会断舍离,可以知足常乐。这就是一种高效的生活。
人生区区三万天,我们又能留下些什么?又有多少人,能成为几百年后的人们让AI把自己类比成的著名人物。
