Hinton 参与了有关量表的讨论，并没有站在学生 Elijah 一边。

奥飞斯量子比特公众号Y水 我不认为QbitAI的扩容方法已经完全完成。当他的学生伊利亚（Ilya）对缩放方法“泼冷水”时，他的老师、人工智能教父杰弗里·辛顿（Jeffrey Hinton）强烈表达了上述相反的观点。这一幕一出现，我们不禁想起了两件有趣的事情。首先，伊利亚从学生时代起就坚信比例定律。他不仅看到了造福周围人的机会，而且还将这一理念带入了 OpenAI。也可以说，伊利亚是规模法则的真正支持者。其次，当辛顿后来回顾他与以利亚相处的时光时，他称赞以利亚“伟大的直觉”。在缩放定律的问题上，Hinton 曾直言：“我当时是错的，但 Ilya 基本上是对的。”例如，Transformer 固然是一个创新的想法，但真正重要的是规模，数据的规模，计算的规模。但现在，态度师徒之间的关系发生了惊人的变化。那么这一路上发生了什么？缩放法则不朽：辛顿、哈萨比斯追击学生伊利亚。辛顿在接受《商业内幕》采访时表达了他对升级方法的看法。他的观点非常清晰。尽管缩放定律仍然有效，但它目前面临一些挑战（限制）。最大的挑战无疑是数据缺失的问题。我们的大部分高价值数据都被锁在公司里，免费的互联网数据几乎耗尽。这个问题是由AI本身解决的。也就是说，模型通过推理生成自己的训练数据。在这里他也对AlphaGo和AlphaZero进行了具体的指导。这正是 AlphaGo 和 AlphaZero 生成数据以在小得多的范围内掌握围棋的方式。对于这些primero程序，Hinton坦言，当时没有人担心数据耗尽，因为这些程序正在生成针对自己的数据。瑟尔在此之前，即使在语言模型中也可以使用相同的方法来解决缩放定律所面临的数据瓶颈。与 Hinton 类似，可扩展性的倡导者是 Google DeepMind 首席执行官哈萨比斯 (Hassabis)。哈萨比斯先生在最近的一次峰会上表示：至少当前的系统将是最终AGI系统的重要组成部分，因此当前的系统需要将规模扩大到极限。它甚至可能是整个 AGI 系统。正如 Hinton 所指出的，哈萨比斯早就认识到人工智能可以通过 AlphaGo 和 AlphaZero 自主开发的无限力量。当 AlphaGo 第一次接受训练时，DeepMind 首先要求它通过学习人类国际象棋得分来学习基本规则，然后让它接受多个版本的程序的训练。它通过数百万次自我对弈不断进化，最终击败了最优秀的人类国际象棋棋手。在AlphaZero中，DeepMind更进了一步，完全抛弃人类数据，仅使用“零”状态下的自动对局，让AI成为“最强大的”这一切都让哈萨比斯相信，通过自动大规模数据生成和自我进化，人工智能最终可以在各种任务上超越人类。显然，这一裁决反映了 Hinton 的观点，即模型本身可以克服数据瓶颈。但值得注意的是，作为商业领袖和强大的工程技术人员，哈萨比斯对标度规律的理解绝不仅限于“参数 x 数据 x 计算的线性增长”他提倡的是更加系统化的扩展主题和泛化。这意味着模型规模、训练范式、环境复杂性甚至系统架构本身都必须作为一个共同进化的整体同时扩展。这就是为什么他反复坚持构建“世界模型”以及“搜索”和“规划”功能的整合。他认为，如果一个系统只能被动地适应静态的数据分布，无论它有多大，它最终总会达到它的极限。我相信，一旦模型进入“交互环境”，数据本身就变成了一个可以无限扩展的变量。总之，他们都认为缩放方法本身并没有什么问题。关键是如何突破目前的瓶颈。而且，两个人提出的解决思路非常一致，因为AI必须自己解决。不过，伊利亚表示，继续扩张已经无法盈利。这几年，大家都在喊“继续扩张！再扩张！”但是当你已经这么大的时候，你真的认为放大 100 倍就能彻底改变一切吗？此言一出，外界认为伊利亚将被升级法则“宣判死刑”。事实真的如此吗？缩放定律还不够：Ilya，Rukun 事实上，如果我们想知道 Ilya 现在在想什么，我们必须回到过去k 到缩放定律本身的问题。规模法则俗称“努力创造奇迹”。其核心思想可以概括为：随着模型参数规模、训练数据量和计算资源的不断增长，AI模型的性能按照可预测的规则不断提升。这一规律在人工智能发展至今已被反复验证。从GPT-3到后来一波又一波的更大模型，几乎每一次性能的跳跃都伴随着数量级的提升。然而，自去年以来，缩放方法的趋势开始发生变化。起初，大家因为财产问题发生争执。这个概念在 OpenAI 上流行起来后，元研究人员发现了百度在 2017 年发表的一篇论文，发现虽然论文中已经讨论了缩放定律的问题，但没有与之相关的官方名称。然而，到了年末，抱怨的声音越来越多。关于“斯卡利”和“法律已经停滞”。也正是在这个时候，离开 OpenAI 的 Ilya 在 NeurIPS 网站上正式宣布“预训练已接近完成”。据了解，预训练即将结束。他认为数据是人工智能的化石。我认为这是燃料。随着全球数据的增加，人工智能未来将面临数据瓶颈。虽然现有的数据可以用于有效的训练，但这种增长的趋势最终会放缓，预训练的时代将逐渐结束，未来将属于超级智能，比如智能、推理、理解和自我意识。关于缩放方法的争论已经彻底爆发。一路上，老牌公司OpenAI也介入提供支持，但只是推广o系列推理模型。 o1高级成员Noam Brown表示，o1代表了一种以推理计算为代表的新型缩放。即“预训练结束了，但是校准还没有结束。后来，在一片喧嚣中，人们等待着 Ilya 创办的新公司。正是在这个阶段，Ilya com 他开始试图回答：我们要攀登到什么？下一步我们应该做什么？在宣布公司成立后接受采访时，他说：过去十年深度学习的重大进步都是规模假设的具体公式，但这将会改变……随着它的改变，系统能力将会增强从这里你可以看到，他正在慢慢开始强调规模的概念发生了变化，但这也符合他最近备受争议的“升级”：“你真的认为扩大100倍会改变一切吗？”他说：“我认为它会改变，但我不认为扩大会产生根本性的转折，但这一次。”拥有更多的超级计算机。在他看来，目前主流的“预训练+缩放”路线显然已经遇到了瓶颈。我们不应盲目扩大规模，而应着眼于重建“研究范式本身”（回到所谓“科学研究时代”）。他随后特别解释说，虽然不断扩张并不是没有变化，但也有一些重要的变化。东西仍然会丢失。缺什么？尽管遭到网友攻击，神秘的伊利亚却再次“隐身”。我等不及他的回应，只能从一些采访中寻找线索，但那些关键词和感受却出现了。辛格：我遇到过一个例子，一个男人失去了感受情绪的能力，可能是由于中风或事故造成的脑损伤。他仍然可以说话，可以解决一些简单的难题，并且可以很好地完成所有测试，但他无法感受到情绪。由于某种原因，他在做出决定时变得非常糟糕。f 各种。有时要花几个小时才能决定穿哪只袜子。在财务方面，他也做出了非常错误的决定。这告诉我们什么是先天情绪在使我们成为有效代理人方面所发挥的作用？通过最大化先前训练的好处可以实现类似的效果。但显然……嗯，预训练是否真的能达到这个效果还很难说。在伊利亚看来，缩放定律虽然有用，但是否真的足够用，肯定是一个很大的问号。另一个像 Ilya 一样对升级方法持怀疑态度的人是 Yann LeCun。 “你不能仅仅认为更多的数据和更强的计算能力会让人工智能变得更聪明，”LeCun 在四月份的一次采访中说道。而众所周知，LeCun 一直认为 AGI 无法通过大型语言模型来实现。为此，我们创建了一家独立公司并推出了全球模式。目前，从表面上看，硅谷的老板们似乎在这个问题上形成了两个截然不同的派系。如何扩展的问题。然而就在此时，Norm Brown（前述o1的核心成员）再次崛起。他说：“今天的社交媒体倾向于将有关人工智能的讨论简化为两种夸张的刻板印象：（A）怀疑论者，他们认为大型语言模型毫无用处；（B）所有这些人。狂热者已经做好准备，相信 ASI（人工智能）即将到来。但如果我们看看领先的研究人员实际上在说什么，我们会发现他们的观点令人惊讶地一致。（1）即使研究没有取得重大进展，当前的范式也可能足以(2) 实现 AGI 或 ASI 可能需要进一步的研究进展（例如被广泛引用的持续学习和采样效率） (3) 没有人相信 ASI 是永远不会实现的幻想，主要的分歧围绕着这些“进步”是什么以及它们发生的速度。得到了LeCun的认可。所以，此时回头看Hinton和Elijah的区别，本质可能不在于他们是否升级，而在于他们到底升级了什么。 [1]https://www.businessinsider.com/ai-Scaling-debate-geoffrey-hinton-ilya-sutskever-alexandr-wang-lecun-20 25-12[2]https://x.com/ilyasut/status/1994424504370581726[3]https://x.com/ylectun/status/1994533846885523852
特别提示：以上内容（包括图片、视频，如有）由自有媒体平台“网易账号”用户上传发布。本平台仅提供信息存储服务。
注：以上内容（包括图片和视频，如有）由网易号用户上传发布，网易号是一个仅提供信息存储服务的社交媒体平台。