18新利luck体育:Meta研究员破解大模型逆转诅咒推出《语言模型物理

　　大语言模型的诞生，切实地推进了人工智能的发展。但随着模型越来越大、训练数据越来越多，人们对于模型的了解反而越来越少。

　　就拿大语言模型的典型代表 GPT-4 来说，即便时至今日，它依然会对一些在人类看来很简单的问题，给出错误的回答（如下图所示的两个案例）。

　　那么，这到底是 GPT-4 本身的问题，还是它的训练数据不足，亦或是它的数学能力太弱？其他模型会有这个问题吗？

　　6 个月前，来自 Meta 旗下的人工智能基础研究实验室（FAIR Labs）的朱泽园和合作者 MBZUAI 的李远志教授，在研究大语言模型是“如何学习知识”的过程中，发现了一些意想不到的复杂情况。

　　有些具备顺序性的知识，比如成语“继往开来”这四个字，始终是按顺序出现的，所以不管大语言模型有多大以及训练了多久，它都只能记住正序，而无法记住逆序知识。这种涉及到“知识的顺序性”的现象，被学术界称为“逆转诅咒”。

　　图丨逆转诅咒的案例：如果一个事实大多只在一个方向上出现，例如诗歌的上下句，那么即使是最有能力的大语言模型也无法反向回忆起这个事实。在该案例中，两个模型显然都知道这些歌词的顺序（左），但却无法反向生成（右）（来源：arXiv [3]）

　　为了克服这一难题，近日，FAIR Labs 实验室提出了一种替代训练方案名为“逆转训练”，大致思路是对所有的数据，都正向和“逆向”同时训练两次，然后通过寻找最可靠的“逆向”训练方法，来效地解决逆转诅咒问题。

　　其实，在探究大模型针对简单的问题却给出错误回答背后的原因时，朱泽园认为，过度追求大语言模型在基准数据集上的表现，也可能让人类和通用人工智能渐行渐远。

　　有没有一种可能是，DeepMind 人工挑选了上百条为 30 道国际数学奥林匹克竞赛题量身定做的引理呢？

　　“我们对此表示质疑（仅代表本团队，并非 Meta 官方立场）。但从科学的角度来看，我们应该尽量避免人工干预，以防‘有多少人工，就有多少智能’。” 朱泽园表示。

　　此概念主张，在物理学的启发下化繁为简，将“智能”分拆成多个维度，包括语法、知识、推理、解题等，并给每个维度创建全新的合成数据，搭建理想化的大语言模型训练和测试环境，以探索模型所具备的普适性定律。类似在真空中研究牛顿定律，或是理想环境下研究气体方程。

　　需要说明的是，研究人员并不应该局限于类似 GPT-4 这样的个别模型，而是应该总结出在理想的数据集下，任何模型所展现出的普适性质。

　　“对于人工智能领域来说，通过在理想环境中去伪存真，我们可以排除数据作弊、人工挑选等因素，真正找出大语言模型的普适定律，并提出增强性能的方案。”朱泽园表示。

　　据了解，《语言模型物理学》项目的第一部分专注于语法研究，第二部分侧重于推理研究，第三部分则聚焦于知识研究，其他更多部分的研究也在积极推进中，并在 Meta 内部立项，得到 FAIR 研究院的海量算力支持。

　　“不过因为发现过多，仅是其中第三部分‘知识研究’就拆成了至少三篇论文 Part 3.1、3.2、3.3，每篇都有几个甚至十几个结论，均已在 arXiv 上发表。”朱泽园说。

　　对于发表在 Part 3.2 论文中的“知识的顺序性”这一现象来说，朱泽园和李远志最早是在理想环境中观察到它，而后又在市面上可见的预训练模型，如 GPT-4 和 LLaMA-2 中，验证了它的存在。

　　假如我们永远都说“某某人，在 XXXX 年 X 月 XX 日出生”，以保证数据集中的知识都是人名在生日之前；然后，再提取出该数据集中一半的人员信息，训练模型的逆向知识提取能力，比如“在 XXXX 年 X 月 XX 日出生的人，叫什么名字”。

　　我们就会发现，不管模型多大、训练多久，它都只能对这一半的人完成逆向知识提取（正确率 100%，因为这一半人在训练集里），而无法推演（generalize）到剩下一半的人（正确率 0%）。

　　换言之，理想环境下，不仅可以将测试集和训练集完全分开，也能让数据量无限增大，甚至还可以把模型打开，观察出“为什么”知识无法逆向提取，并得到提取知识的充分必要条件。

　　更重要的是，理想环境下的研究，可以推广到包括 GPT-4 在内的现实模型上，也能观察到“逆转诅咒”。

　　比如，除了如上所说的成语逆转，还可以向大语言模型询问“西出阳关无故人”的上一句话，或是给出百科上名人的出生年月日/工作单位/城市，来反问大语言模型这个人名是谁。

　　不过，需要指出的是，在现实模型上很难确定造成这些错误回答的原因，究竟是模型训练得不够久，还是数据不够多。

　　即便现实模型答对了，会不会它的训练数据中看到了原题（也就是数据污染）。综上，在现实模型上直接研究，很难得到令人信服的、科学的结论。

　　“这就是为什么我们要做《语言模型物理学》的原因，即希望探索出一种全新的研究 AI 模型的思路。”朱泽园表示。

　　发现问题是一方面，要想解决“逆转诅咒”，就是一个新的延伸课题了。为此，朱泽园和 FAIR Labs 实验室的“推理记忆”课题组联手，基于理想环境中的发现，给出现实生活中的一个解决方案——随机拆词反转训练。

　　主要是把每 1-25 个连续 token（对应约 1-15 个英语单词）随机拆成一组，在保持每组顺序不变的前提下，将整个文章进行反转。

　　同时使用正向的原文，和反转后的文字对语言模型进行训练。如果同一数据会多次进行反转训练，则可以每次用不同的随机方法拆词，这在无形之中增加了数据的多样性，从而增强大模型对知识的存取效率。

　　从另一方面来看，随机拆词并翻转也模拟了人类速读。也就是说，当我们快速阅读一段文字的时候，眼睛也在进行随机拆解，甚至也会无序地阅读。包括在学习重要知识时，还会前后翻书和反复阅读。

　　同时，他们还得到了一个重要的发现：如果正反向都进行训练，既不会影响正向的训练结果，又不会让传统的基准数据集得分降低。

　　对于《语言模型物理学》系列作品给应用领域带来的影响，朱泽园认为会是非常全面的。作为该系列作品的一个衍生成果，《逆转训练攻克逆转诅咒》很可能在帮助解决大语言模型的诸多问题之一的同时，在所有公司的所有应用场景中得到应用。

　　“当然，一切的理论研究走到实际落地都有一个过程。我欢迎所有的研究人员参考我们论文给出的理论指导建议，在实际应用中找到增益。”朱泽园说。

　　另外，值得一提的是，2024 年 7 月，朱泽园将在 ICML 2024 上，受邀开展《语言模型物理学》系列讲坛（tutorial）课程。

　　据了解，朱泽园本科就读于清华大学物理系，博士毕业于美国麻省理工计算机系，是图灵奖得主希尔维奥·米卡利（Silvio Micali）教授的，后在美国普林斯顿大学和从事博士后研究，师从刚刚获得图灵奖的艾维·维格森（Avi Wigderson）教授。

　　他曾是国际信息学奥林匹克竞赛两届金牌、国际大学生程序设计竞赛全球总决赛金牌的获得者，也在谷歌全球编程挑战赛（Google Code Jam）中获得世界第二的成绩。

　　“加入 FAIR Labs 以后，我被给予了 100% 的科研自由，可以独立发起项目，选择我认为最重要的人工智能课题进行长期研究。《语言模型物理学》项目，就是我所负责的长期项目。”朱泽园介绍说。

　　不过，在最早参与该课题时，朱泽园并不十分“积极”。这主要是因为他考虑到精力有限，所以对参与科研课题一贯持谨慎态度。

　　“当这一课题负责人苏赫巴托尔联系我时，我从理论的角度出。