最近，一组来自斯坦福大学、康奈尔大学和西弗吉尼亚大学的计算机科学家与法律学者共同发表了一项引人瞩目的研究，分析了几款开源大型语言模型在文本记忆方面的表现。这项研究着重考察了五种不同的开放权重模型，它们的能力是否能够重复经典书籍中的内容。这五款模型中，有三款来自 Meta，另外两款分别由微软和 EleutherAI 开发。
研究团队采用了 Books3这一流行的书籍数据库，作为训练这些大模型的素材，值得一提的是，这些书籍中许多依然受到版权保护。研究者们将36本书划分为多个重叠的100个标记段落，然后利用前50个标记作为提示，计算接下来的50个标记与原文相同的概率。如果逐字重复的概率超过50%，那么这段内容就被标记为 “已记住”。
令人惊讶的是，Meta 于2024年发布的 Llama3.170B 模型在回忆《哈利波特》第一部的表现中，竟能记住42% 的内容。而相比之下，Meta 在2023年发布的 Llama165B 模型仅能回忆起4.4% 的内容。这一显著提升引发了学术界的广泛关注。研究人员还发现，相较于冷门书籍，Llama3.170B 在热门书籍如《霍比特人》和乔治・奥威尔的《1984》中的记忆能力更为突出，记忆量远高于其他模型。
这一研究成果不仅展示了大型语言模型在文本记忆方面的显著进步，也引发了人们对未来 AI 技术在处理和理解文本内容能力的期待。可以说，随着技术的发展，人工智能正在不断接近人类的认知水平。
