Yann LeCun杨立昆最新观点：AGI不存在

本篇内容来自Yann LeCun最新的播客访谈，以及1月份的公开内容整合。

Yann LeCun 认为，自回归大型语言模型 (LLM) 并不是通往通用人工智能 (AGI) 的充分途径，因为它们缺乏智能生物的基本能力，例如对物理世界的理解和推理。

他承认LLM令人印象深刻的成就，例如他们翻译语言、撰写不同类型的创意内容以及以翔实的方式回答问题的能力。

然而，他认为真正的智力需要对世界的具体理解，以及利用这种理解进行推理和计划的能力。LLM显然还缺乏这些能力。

以下是他讨论的LLM的一些局限性：

-- LLM 是自回归的，这意味着它们根据前面的单词预测序列中的下一个单词。这与人类的思维方式不同，人类在说话或写作之前先计划好自己的想法。他讨论了联合嵌入架构 (JEA) 和 LLM 之间的根本区别，强调 JEA 的目标是预测输入的抽象表示而不是每个细节。-- LLM无法将他们的理解扎根于现实：他们无法在现实世界中采取行动或通过具体经验进行学习。--
目前的LLM缺乏分层规划的能力，而这对于在多个抽象层次上理解世界、与世界互动至关重要。

LeCun认为，未来的人工智能对话系统将在将答案转换为文本之前对其答案进行思考和规划。他指出，像 RLHF 这样根据人类偏好、针对特定任务改进现有LLM的技术效率低下。未来可能需要在抽象表示空间中规划和优化答案，然后再将其转换为文本。

LeCun 讨论了基于能量的模型 (EBM)。EBM 将使人工智能能够将更多资源投入到复杂问题上，更接近地反映人类推理。他们将能够通过优化标量输出来执行更复杂的推理，该标量输出评估答案与给定提示的兼容性。

LeCun还认为，如果人工智能不开源，可能会导致少数公司控制我们所有信息的情况，这将对民主构成威胁。他表示：“权力集中在专有人工智能系统中的危险比其他一切都要大得多。”

此外，开源人工智能将允许更多的协作和有益的人工智能系统的开发。他认为，这将允许开发更多样化的人工智能系统，这对社会有益。

访谈原内容将近3小时，以下是我提炼出来的7个观点：

1. Yann LeCun 倡导开源人工智能，相信它可以增强人类的善良并对抗专有系统的危险。2. 他批评依赖 GPT 等大型语言模型
(LLM) 来实现“超人智能”，理由是它们无法有效理解物理世界、推理或计划。3. LLM接受了大量文本数据的训练，但 LeCun 认为，感官输入，特别是在幼儿期，比单独的语言提供了更丰富的学习信息。4. LeCun 讨论了将智能扎根于现实的重要性，认为人工智能系统需要对语言之外的世界有更深入的理解。5. 他强调了创建能够进行常识推理和理解物理世界的人工智能系统所面临的挑战，并强调了当前生成模型的局限性。6. LeCun 提出联合嵌入预测架构（JEPA）作为一种替代方法，其重点是从输入中提取抽象表示，而不是逐像素地重建它们。7. 虽然 JEPA 代表着向前迈出的一步，但 LeCun 承认它们并不是实现高级机器智能 (AMI) 或 AGI 的完整解决方案。

接下来是访谈原文翻译内容：

Q：当今AI圈许多人相信，利用更多计算能力、更多数据，训练大型语言模型 (LLM) ，将带来通用人工智能（AGI），你同意吗？

A（杨立昆）：如果你大规模地训练LLM，他们的工作方式会令人惊讶，但它是非常有限的。今天我们看到这些系统产生了幻觉，它们并不真正了解现实世界。

它们需要大量的数据才能达到最终的智能水平。他们无法真正推理。除了他们接受过的培训之外，他们无法计划任何事情。

因此，它们并不是通向人们所说的“AGI”的道路。我讨厌这个词。它们很有用，这是毫无疑问的。但它们并不是通往人类水平智能的道路。

Q：你提到你讨厌缩写词“AGI”。这是马克·扎克伯格 (Mark Zuckerberg) 在 1 月份使用的一个术语，当时他宣布 Meta 正在将构建通用人工智能作为其组织的核心目标之一。

A（杨立昆）：这里面有很多误解。因此，FAIR
[Meta 的基础人工智能研究团队] 的使命是人类水平的智能。这艘船已经航行了，这是一场我输掉的战斗，但我不喜欢称它为AGI，因为人类智能根本不通用。

有些智能生物所具有的特征是当今人工智能系统所不具备的，比如理解物理世界；规划一系列行动以实现目标；推理的方式可能会花费你很长时间。人类和动物的大脑都有一个特殊的部分，我们将其用作工作记忆。LLM 没有这个。

婴儿在生命的最初几个月里就会了解世界是如何运作的。我们不知道如何[用人工智能]做到这一点。

一旦我们拥有了通过观察世界的流逝来学习“世界模型”的技术，并将其与规划技术相结合，或许还可以将其与短期记忆系统相结合，那么我们可能会找到一条通往通用智能的道路，但让我们说猫级别的智力。

在我们达到人类水平之前，我们将不得不经历更简单的智能形式。我们离这个目标还很远。

Q：在某些方面，这个比喻是有道理的，因为猫可以观察世界并学习最先进的LLM根本无法学到的东西。但是，人类知识的整个概括历史对猫来说是无法获得的。这个比喻的局限性有多大？

A（杨立昆）：这是一个非常简单的计算。大型语言模型或多或少是根据公共互联网上可用的整个文本进行训练的。通常情况下，这是 10 万亿个代币。每个令牌大约是两个字节。因此，训练数据的大小是 10 的 13 字节的 2 倍。

你会说，天啊，这太不可思议了，人类需要 17 万年才能读完这本书。这只是大量的数据。但当你与发展心理学家交谈时，他们告诉你，一个 4 岁的孩子一生中已经有 16,000 小时处于清醒状态。

然后你可以尝试量化四年内有多少信息进入其视觉皮层。而视神经每秒大约有20兆字节。因此，每秒 20 兆字节，乘以 60,000 小时，再乘以每小时 3,600 秒。这是 10 的 15 字节的[次方]，是 170,000 年文本价值的
50 倍。

Q：是的，但是文本编码了人类知识的整个历史，而 4 岁孩子获得的视觉信息只编码了关于世界、基本语言等的基本 3D 信息。

A（杨立昆）：但你说的都是错误的。人类的绝大多数知识不是用文本表达的。它存在于你大脑的潜意识部分，是你在会说话之前的第一年里学到的。大多数知识确实与我们对世界的体验及其运作方式有关。这就是我们所说的常识。

LLM没有这些，因为他们无权获得它。所以他们可能会犯非常愚蠢的错误。这就是幻觉的来源。我们完全认为理所当然的事情对于计算机来说复制起来极其复杂。因此，AGI（人类水平的人工智能）不仅指日可待，而且还需要一些相当深刻的感知变化。

Q：我们来谈谈开源。您在职业生涯中一直是开放研究的大力倡导者，Meta 采取了有效开源其最强大的大型语言模型（最近的Llama 3）的政策。这一策略将 Meta 与谷歌和微软区分开来，后者不会公布其最强大系统的所谓权重。你认为随着
Meta 的人工智能变得越来越强大，甚至接近人类水平的智能，Meta 的方法还会继续适用吗？

A（杨立昆）：首先的答案是肯定的。其原因是，在未来，每个人与数字世界以及更广泛的知识世界的互动都将由人工智能系统介导。

他们基本上将扮演人类助手的角色，始终与我们在一起。我们不会使用搜索引擎。我们只需向助手提问，这会对我们的日常生活有所帮助。因此，我们的整个信息饮食将由这些系统来调节。

它们将构成所有人类知识的宝库。而且你不能对专有的、封闭的系统有这种依赖，特别是考虑到世界各地语言、文化、价值观、兴趣中心的多样性。

就好像你说，你能在美国西海岸的某个地方有一个商业实体来制作维基百科吗？不会。

维基百科是众包的，因为它有效。因此，对于人工智能系统来说也是如此，它们必须在世界各地每个人的帮助下接受培训，或者至少进行微调。人们只有能够为广泛可用的开放平台做出贡献，才会这样做。他们不会为专有系统这样做。

因此，出于文化多样性、民主和多样性的原因，未来至少必须是开源的。我们需要多元化的人工智能助手，就像我们需要多元化的媒体一样。

Q：您经常听到的一种批评是，开源可能会让非常强大的工具落入滥用它们的人手中。如果攻击力与防御力存在一定程度的不对称，那么这对整个社会来说可能是非常危险的。是什么让你确信这不会发生？

A（杨立昆）：关于这个的很多说法基本上都是完全的幻想。事实上，兰德公司刚刚发布了一份报告，他们研究了在当前的系统下，居心不良的人想出生物武器的配方有多容易？

答案是：不会。

原因是因为现在的系统确实没有那么智能。他们接受过公共数据方面的培训。所以基本上，他们无法发明新东西。

他们会从公共数据中反省他们所接受的训练，这意味着你可以从谷歌获得它。人们一直在说，“天啊，我们需要监管LLMs，因为它们太危险了。” 这不是真的。

现在，未来的系统却是另一回事了。因此，也许一旦我们拥有一个强大的超级智能系统，他们将有助于科学，他们将有助于医学，他们将帮助商业，他们将通过允许同声传译消除文化障碍。所以有很多好处。

因此，有一个风险收益分析，即：尝试将技术保密，希望坏人不会得到它，是否有效？

或者相反，策略是尽可能广泛地开放，以便进展尽可能快，以便坏人永远落后？我非常属于第二类思维。需要做的是让整个社会，好人，通过进步保持领先。然后就是我的好人工智能对抗你的坏人工智能。

Q：您称人工智能对人类构成生存风险的想法“很荒谬”，为什么？

A（杨立昆）：这里面有很多谬误。第一个谬论是，因为系统是智能的，所以它想要控制。这完全是错误的。

甚至在人类内部也是错误的。我们当中最聪明的人不想主宰其他人。如今，我们在国际政治舞台上就有这样的例子——领导者并不是我们当中最聪明的人。

Q：当然。但最终掌握权力的是那些有统治欲望的人。

A（杨立昆）：我相信你认识很多非常聪明的人，他们非常擅长解决问题。他们不想成为任何人的老板。我就是其中之一。支配欲与智力根本无关。

Q：但这与统治有关。

A（杨立昆）：好吧，但是一些人类的统治欲，或者至少是影响力，已经通过进化而根植于我们的体内，因为我们是一个具有等级组织的社会物种。看看猩猩。他们不是社会性动物。他们没有这种主宰的动力，因为这对他们来说完全没用。

Q：这就是为什么人类是优势物种，而不是猩猩。

A（杨立昆）：关键是，人工智能系统尽管可能很聪明，但仍将屈服于我们。我们设定了他们的目标，但他们没有任何我们可以为他们建立的内在目标来控制。建造它实在是太愚蠢了。也会毫无用处。反正没人会买。

Q：如果一个有支配欲的人，将这个目标编程到人工智能中会怎样？

A（杨立昆）：然后，再说一次，这是我的好人工智能对抗你的坏人工智能。如果你的人工智能表现不佳，无论是由于糟糕的设计还是故意的，你都会有更聪明、更好的人工智能来消灭它们。就像我们有警察或军队一样。

Q：但警察和军队拥有使用武力的垄断权，而在开源人工智能的世界里，这是不可能的。

A（杨立昆）：你是什么意思？在美国，你可以在任何地方购买枪支。即使在美国大部分地区，警察也拥有使用武力的合法垄断权。但很多人都可以获得极其强大的武器。

Q：进展顺利吗？

A（杨立昆）：我发现这对北美大陆居民的生命威胁比人工智能要大得多。但不，我的意思是，我们可以想象各种灾难场景。有数百万种构建人工智能的方法都是糟糕的、危险的、无用的。但问题不在于它是否有可能变坏。问题是是否有办法让它顺利进行。

设计越来越强大的安全护栏系统，使其可靠、安全、有用，这将是一个漫长而艰巨的过程。这不会在一天内发生。这不像有一天，我们要建造一台巨大的计算机并打开它，然后下一分钟它就会接管世界。这就是荒谬的场景。

出自：https://mp.weixin.qq.com/s/zVogaVrsiOuJk_kepDKrmA

如果你想要了解关于智能工具类的内容，可以查看 智汇宝库，这是一个提供智能工具的网站。
在这你可以找到各种智能工具的相关信息，了解智能工具的用法以及最新动态。