英伟达&OpenAl炉边谈话：人工智能的今天和未来的愿景

参会嘉宾：NVIDIA CEO 黄仁勋、OpenAl联合创始人 Ilya Sutskever
会议重播：https://register.nvidia.cn/flow/nvidia/gtcspring2023/registrationcn/page/sessioncatalog/session/1669748941314001t6Nv

【背景】过去一段时间内，OpenAI推出的ChatGPT以及其他的GPT产品在全世界范围内造成了非常深远的影响，也将AI 这个已经是热点的话题再次推向了风口浪尖。在此背景下，本次交流聚焦AI在今天的应用以及未来的发展。

Q：你对深度学习的直觉是什么？你为什么知道它会起作用？你有没有什么直觉会导致这种成功？
A：人工智能的进步会影响对人工智能的直观理解。早期计算机根本做不到人类可以做的事情，在2003年和2002年，计算机不能学习任何东西，甚至不清楚这在理论上是否可行。
神经网络具有我们正在学习的特性，与大脑的工作原理非常相似。

Q：你第一次开始研究深度学习和神经网络的时候。网络的规模有多大？当时的计算规模是多少？
A：当时人们并没有意识到规模的重要性。所以人们会用50个神经元，100个神经元，几百个神经元来训练神经网络，100万个参数就已经非常大了。后来我们使用了MATLAB，并对MATLAB进行了优化，这是生成模型的开端。

Q：在什么时候你很清楚你想要建立一个面向计算机视觉的神经网络？
A：大概在两年前确定监督学习作为一个研究方向。如果神经网络又深又大，那么它可以用于解决一项艰巨的任务，无论你如何配置它们，大型和深度神经网络都可以代表一个好的解决方案来找到好的方案。这就需要一个大数据集来进行训练，能训练它们就能够做大，能找到数据就能够成功。优化是它的一个瓶颈。

Q：关于在OpenAI工作的第一个初步想法是什么？ChatGPT最初灵感是什么？
A：当我们开始的时候，并不是非常明确如何进行。而且这个领域与现在的方式相比也非常不同。但早在2015年、2016年的时候，整个事情看起来很疯狂。我在很早的时候就对这个想法感到特别兴奋，即通过压缩、一些背景来进行无监督学习的想法。然而在2016年时，人们对于实现无监督学习几乎没有任何头绪。
此外，情感神经元这项工作在机器学习领域之外可能并不为人所知。但它是非常有影响力的，特别是在我们的思维中。

Q：关于模型和数据大小的缩放规律的直觉，以及你的GPT1-3的旅程，你先看到了哪一个？是GPT1到3的证据，还是先有关于缩放规律的直觉？
A：是直觉。所以我想说的是，我有一个非常强烈的信念，即越大越好。我们在open ai的目标之一是弄清楚如何正确地使用尺度。在OpenAI，从一开始就有很多关于规模的信念。缩放会提高这些模型的性能，更大，更深的网络，更多的训练数据会缩放。OpenAI写了一篇非常重要的论文，关于缩放定律，损失和模型大小之间的关系，以及数据集的数量，数据集的大小
以实时战略游戏为例，实时战略游戏就像一项竞技运动，需要快速的反应，因此，我们训练强化学习智能体与自己对抗，以达到一定水平为目标，使其能够与世界上最好的玩家竞争，这就是强化学习。而当前已经实现了由强化学习转变为来自人类反馈的强化学习，进而诞生了ChatGPT。

Q：简要解释一下ChatGPT的微调、强化学习、各种周围的系统、知识输入等等？
A：当我们训练一个大型神经网络来准确预测互联网上很多不同文本中的下一个词时，我们所做的是学习一个世界模型。从表面上看，我们只是在学习文本中的统计相关性。但事实证明，如果只是学习文本中的统计相关性，可以很好地压缩它们。神经网络所学习的是产生文本的过程的一些表示、在我们所处的情况下的互动等等，这个文本实际上是这个世界的一个投影。而神经网络学习的是一个压缩的、抽象的、可用的代表。这就是从准确预测下一个单词中学习到的东西。
为了让语言模型能够达到真实的、帮助的、遵循某些指导规则而不违反它们的，而非随机地在互联网上的一些文本，这就需要额外的训练。这就是微调和从人类教师和其他形式的AI协助中进行强化学习的地方。这不仅仅是来自人类教师的强化学习。它也是来自人类AI合作的强化学习。
而现在我们可以对它进行微调，指示它不要做某些事情，给它一些边界框，这样它就不会游离于这个边界框之外而做一些不安全或其他的事情。
训练的第二个阶段是向神经网络传达我们想要的任何东西的地方，其中也包括边界框。我们的训练做得越好，交流的保真度就越高，语言模型在遵循预定指令的方式上变得越来越可靠和精确。
几个月前ChatGPT问世，这是人类历史上增长最快的应用。其中一个原因在于：它是任何人创造的最简单的应用程序，任何人都可以使用。它可以执行任务，做事情，没有错误的使用方法，同时它所做的事情超出了人们的预期。如果你的指令是模棱两可的，对话就会完善模棱两可的内容，直到你的意图被应用程序理解，最终指令变得清晰而显著。

Q：ChatGPT和GPT-4的主要区别是什么？主要是哪些方面的改进？
A：GPT-4是在ChatGPT基础上的一个相当大的改进，跨越了非常多的层面。
最重要的区别是：在GPT-4模型下，预测下一个词的准确性更高。其重要性主要体现为：一个神经网络越能预测文本中的下一个词。它就越能理解它。类比侦探小说阅读，前期对剧情理解能力越强，对于结果的预测也就越快和越准确。

Q：在预测下一个词的时候，学习推理有什么限制吗？现在的GPT-4会不会进一步提高推理能力？
A：我们的神经网络也许存在一些限制，但是已经被证明对推理是非常有效的。基本的神经网络能走多远还有待观察，我们还没有完全发掘它的潜力。但在某种意义上说，推理仍然没有达到神经网络的其他一些能力的水平。
目前发布的GPT-4并没有内置的检索功能，但它在图像方面表现非常出色，且能够用数据和各种强化学习变体进行微调，使其表现为一种特定的方式。多模态GPT-4有能力从文本和图像中学习，并对文本和图像的输入作出反应。
多模态有两个层面：（1）多模态是有用的。对于一个神经网络来说，看到视觉是非常重要的，因为世界是非常视觉的，人类是非常视觉的动物，大脑皮层有近1/3的核心用于视觉。（2）当今获得尽可能多的信息来源正变得越来越重要，从视觉中了解世界，能够学到文字中没有捕捉到的额外东西，认知会更加多元丰富。
此外，音频也是一个有用的额外信息来源，但是可能没有视频的图像那么多。

Q：关于用AI来训练AI？
A：我们一直在用生成的数据训练我们的大脑，通过自我反思，解决我们大脑中的问题，并做了大量努力开发神经元。

Q：如何看待合成数据生成这一领域？这将是未来训练AI和AI自我教学的重要部分吗？
A：设想未来我们不使用AI的时候，它可能会产生对抗性的内容供自己学习，它可以走出去，然后改进自己，告诉我们任何你可以的关于我们现在的情况。

Q：当你第一次开始使用ChatGPT和GPT-4时，它表现出的哪些技能让你感到惊讶？
A：它的可靠性水平令人惊讶，以前的神经网络，如果你问他们一个问题，有时他们可能会以一种愚蠢的方式误解一些东西。而GPT-4不会发生这种情况，它解决数学问题的能力变得更强，它真的能够进行漫长而复杂的推导和证明，它也有能力产生每一个词以相同的字母开始的诗，并能够很清楚地遵循指令。从各方各面看，当前的GPT的确取得了非凡的成就。