GPT-3 除了文本遐想、翻译、写诗，还能画画、做财务报表、编程，“一个模子就可以做所有事”。通用，就是 GPT-3 的革命性。本文来自微信民众号：极客公园（ID：geekpark），演讲：李志飞，整理：赵子潇，责任编辑：宋德胜，原文题目：《出门问问李志飞：GPT-3 比 AlphaGo 更“接地气”，更通用更万能》，头图来自：视觉中国

2016 年，AlphaGo 可以说确立了 AI 的“围棋霸权”。但人工智能专家李志飞却说，“AlphaGo 更多是对人类心智的打击”。在已往 5 年里，他以为去年问世的 AI GPT-3 的现实影响力可能会比 AlphaGo 更大，由于 GPT-3 让人类真切看到了通用语言智能的希望。

AlphaGo 虽能轻松击败人类，但也只限于围棋等专精领域，无法“闻一知十”；而 GPT-3 除了文本遐想、翻译、写诗，还能画画、做财务报表、编程，“一个模子就可以做所有事”。通用，就是 GPT-3 的革命性。

李志飞把 GPT-3 形容为“一位科科都是高分的全才”。更让人激动的是，这么一个优异的学生在学习历程中居然是无监视、完全自主驱动的，也就是学习历程它不需要人们提供有谜底的练习题来温习考试（微调模子），只要给他无限多的文本序列，就能自动从文本里学到种种知识。

GPT-3 几乎是把整个互联网的众多内容所有读完了。它总共阅读了约莫 5000 亿词，模子也许有 1750 亿参数。系统有上万个 CPU/GPU 在 24 小时不间断地“阅读”任何领域的信息，半个月即可读完整个互联网的内容。猛灌数据量，是这个 AI 模子的“暴力”所在。

“我以前稀奇否决‘暴力’，以为没有什么深度，研究也没有美感。”然则最近的许多现实希望，也让他最先信赖这种训练 AI 的方式，这是一种“先求其然，再求其以是然”的功效主义。这种方式或许能让人类更早造出更靠近人类的通用人工智能。

“暴力”的背后，是烧钱耗力。GPT-3 这个 AI 模子运算一次要花 450 万美金，可能比发一个卫星还贵。那么，中国是不是就不能做？李志飞说，“不是。由于许多系统第一次做出来时稀奇难，然则很快就有稀奇多的优化，成本大幅度的降低，我们可以做出同样甚至更好的系统。”

李志飞还以为，2020 年可能是通用 AI 的元年。对于人们对未来 AI 的恐惧心理，他说，“别怕。”

以下是李志飞的演讲实录，由极客公园编辑整理。

GPT-3，通向通用 AI 智能的希望

李志飞的 AI 语音替身：出门问问创始人兼 CEO 李志飞对 GPT-3 的手艺突破感应激动，他以为 GPT-3 让人类真切看到了通往加倍通用的语言智能的希望。李志飞是自然语言处置及人工智能专家，美国约翰霍普金斯大学计算机系博士，前 Google 总部科学家。通过他的解读你将能够明白 GPT-3 是谁，他厉害在那里，以及未来会若何进化。

人人好，我是出门问问的李志飞，刚刚前面人人听到这个迎接我的视频可能以为很新鲜，感受我是自己给自己录了个音然后迎接我自己，然则实在不是这样的，这不是我的录音，而是我的 AI 语音的替身发生出来的声音。他基本上把我的湖南通俗话已经学的异常像了，已经到达以假乱真的目的了。

在已往几年实在有许多这样的 AI 系统，好比语音助手、好比人脸识别、好比声音的替身，都进入了我们一样平常生涯。然则所有的这些系统很大的问题是“不通用”，就是一个系统只醒目一件事情，干不了许多事情。

今天我想花时间跟人人聊一下怎么做一个加倍通用的人工智能系统。我会跟人人举例子——GPT-3。

GPT-3 是什么？GPT-3 本质上是一个语言模子，语言模子通过对语言举行建模，他可以天生或者展望语言，也可以判断这个语言好跟坏。GPT-3 是一个科研组织 OpenAI 建立的语言模子。

OpenAI 许多人可能异常生疏，然则实在提及他的团结创始人、早期的创始人就异常清晰了，他是 Elon Musk。

这个 GPT-3 这么神奇，他都醒目什么？他实在可以做许多事情。好比他可以写作文，你给他开一个头，然后他就可以把整个文章写出来。而且他写出的文章句子异常通顺，更要害的是他段落之间逻辑也异常自洽。

网上有人把 GPT-3 写出来的文章和人类写出的文章给另外一小我私家判断，到底哪些机械写的，哪些是人类写的，实在人已经很难分出来了，以是他基本上可以以假乱真。

除了写文章，他也可以举行对话，而且他对话的内容可以异常的普遍，天文、地理、历史都可以。网上行使 GPT-3 创建了一个 Elon Musk 的对话机械人，人类跟 Elon Musk 对话机械人举行对话的时刻，你会发现这个对话机械人他可以像 Elon Musk 一样语言。

好比他经常会讲到人类、火星、太空、地域性原理等这些通俗人类一样平常不太会说的话。

他也可以做翻译，人人知道翻译是异常难的一件事情，由于他涉及到两个语言，以及这个语言之间的匹配，然则 GPT-3 可以做翻译，而且他做出来的翻译有的时刻比一个专门翻译的系统还要做得更好，这也是异常厉害的。

前面无论是翻译，照样对话，他都是一个发散性的输出，也就是说这个 GPT-3 的输出他可以不是唯一的谜底，只要意思对了就可以，以是也不是稀奇神奇。

然则 GPT-3 除了做这种发散性的输出以外，他也可以做异常精准的输出，好比他可以做算术题，好比若是你问他“48 12=若干”，他会告诉你即是 60。

人人可以看到这个 60 也是一个异常精准的谜底，而不是随便说的，这个以前在语言模子中也是异常难做到的。

除了前面种种技术，他实在还可以干的事情异常多。好比他可以写诗，他可以编程，在某种程度上、某些地方可以取代程序员，也可以画画，也可以下国际象棋，做财务报表，基本上他会五六十种技术，要害是用同一个模子就可以完成所有的这些功效。

以是 GPT-3 出来以后，全球科技爱好者异常激动，由于 GPT-3 让人人看到了一个通向通用的 AI 智能的希望。

吞下整个互联网的数据，AI 演绎暴力美学

这个 GPT-3 显示这么好，背后的学习又牛在什么地方？实在可以用三个要害词来总结——多义务、无监视、小样本学习。

多义务，前面讲到，一个模子可以干许多事情，可以有 50 多种技术，这个异常厉害。

无监视，一样平常的模子我们要给他许多问题、谜底、问题、谜底，他才气训练出一个模子，然则 GPT-3 直接把互联网的内容所有给他，他就可以自学成才，这也是异常厉害的，小样本学习或者闻一知十的能力，这是人类异常强的能力。

好比 GPT-3 原本可能没有关于喜悦的观点，然则若是你对着 GPT-3 教他两个例子，他可能就会发生一个喜悦的句子。

好比你对 GPT-3 说，GPT-3 我这里有两个关于喜悦的例子，一个是我今天很开心，第二个是我今天玩得很好，他可能自己就会说“我今天真是嗨爆了”。这种闻一知十的能力也是异常厉害的。

这个 GPT-3 这么厉害，背后是不是有稀奇庞大的理论算法？实在不是的，他背后就是用了一个异常简朴、现在异常盛行的算法，叫做 Transformer，中文人人可以翻译成变形金刚，固然他不是我们影戏内里的谁人变形金刚。以是这个模子实在是异常通用、异常简朴的一个模子。

GPT-3 实在在我看来是一个暴力美学的胜利，他不是一个稀奇庞大理论的胜利。为什么这么说，人人可以从三个角度看，一样平常人人以为 AI 的三要素：算法、数据、算力。

这个 GPT-3 在每一个地方都异常暴力，算法他总共用了 1750 亿的参数，这是异常厉害的。

由于两年前我们可能以为训练一个 5 亿、10 亿参数的模子就异常厉害了，然则这是 1750 亿；人的大脑，好比有 800 亿的神经元，有千万亿级的参数，那 GPT-3 跟人的大脑之间差了几个数量级。

第二个，数据，GPT-3 把互联网上的所有内容基本上是千亿级的词都读完，这个跟人相比也是异常厉害的。由于人如果一个月能读十本书，一年读一百本书，读 50 年，一生也就读 5000 本数，一本书如果 20 万字，加起来就 10 亿字。然则 GPT-3 读的是千亿级的字，以是这个数量级是差异很大的。

算力层面也异常暴力，他用了一万个 GPU 去算，算了半个月最后训练出了一个模子，网上算了一下，也许花了 450 万美金，也就是比发一个卫星可能都还贵。

人人可能会问，OpenAI 作为一个工业组织为什么这么喜欢暴力？这个实在跟它的使命、信仰是有关系的。

首先他的使命是要做通用的人工智能，一样平常以为实现通用的人工智能可能有两种差别的信心：

一种信心是今天的这个深度学习的算法都不够，一定实现不了通用的人工智能，我们必须对人脑、对模子有更深刻的认知才气实现通用的人工智能；

另外一种信心说不是的，今天的模子可以了，我们要害是要把这个模子做得足够大，数据量足够大，当这个模子稀奇大的时刻就可以实现通用的人工智能。

OpenAI 是异常坚信第二种方式的，他们花了许多精神做大模子，处置这个大数据，确实我们看到他最后出来的模子确实展现出异常惊人的智能行为。

这个实在在学术界是纷歧定异常认同的，由于学术界可能许多人不太喜欢这种暴力的模子，人人都喜欢明白这个原理最后做出个系统。

然则实在通过已往几年的希望，人人看到这些暴力模子都展现出异常好的显示，可能逐步越来越多的人最先信仰这种暴力的方式。

实在这也异常容易明白，由于 GPT-3 就是一个典型的庞大系统，庞大系统当他异常大的时刻就会有一些智能的行为，他有几个基本的特点：

第一，这个庞大系统有异常简朴的节点，节点很简朴。

第二，节点之间有许多交互，然则这个交互方式也是异常简朴的。

然则当节点以及节点之间交互异常多，频率异常高的时刻就会涌现出团体的智能。

好比蚂蚁的智能就是这么一个例子，单一个蚂蚁可能看起来没有那么智能，然则当一群蚂蚁他们通过简朴的交互，最后搬运一个器械的时刻你会发现他是一个异常强的智能体。

实在这样的庞大系统有许多，好比互联网、人类社会都是这么一个系统，也许我们人脑的智能也是这么一个系统，他也许有许多暴力的因素在内里，好比 800 亿的神经元，千万亿级别的参数，也就是说暴力可能是实现通用 AI 的一个偏向。

云云烧钱耗力，中国也能做出 GPT-3 吗？

人人可能会说这个 GPT-3 花了这么多钱，那么多厉害的人训练，中国是不是就不能做？实在不是的。

由于许多系统第一次做出来的时刻稀奇难，然则很快就有稀奇多的优化，这个成本大幅度的降低，你就可以做出同样甚至更好的系统。

我们实在就在做这样一个事情。为什么要做一个通用的语言系统？由于我们的使命也是希望界说下一代的人机交互，最焦点的产物就是语音助手。

我们的语音助手用在智能手表、智能的无线耳机、智能的车载，我们希望智能的语音助手加倍通用。

他真的像你的助理一样可以帮你完成许多义务，以是我们是异常有动力，也有能力做一个通用的语音智能系统，我们现在做的这个系统 UCLAI 就是通用中文语言 AI 的系统。

这里有一个例子，就是我们这个系统发生的例子，你给他输入一个文章，写一首诗，好比说你让他写情书，你前面输入了“当你老了，头白了，睡意昏沉，在炉火旁瞌睡，请取下这部诗歌。”这是我们输入进去的，这个时刻我们的系统就会天生后面这一段话，“在你耳边轻轻诵读，请你记起你微笑的容貌，只管岁月远去，声音尤在，日子总会在和平中流淌”。

人人可以看到，首先这个诗不是原诗，不是只是简朴的从互联网上 copy 一下。

第二，这个天生的部门跟上文前后是异常有对应的关系的，而且这个文字异常的优美，横竖我作为一个工程师是很难写出这么优美的诗。

我们系统除了发生这种简朴的诗以外，也可以发生异常长的诗，好比我们这个后面有一个例子。

我们前面输入博尔赫斯的一首诗的前段部门，后面就天生很长的部门，同样的他异常有创意，而且这个逻辑也异常的自洽，而且也对照优美，但我们做这个 UCLAI，或者 OpenAI 做 GPT-3，不是仅仅写诗，实在他可以干许多事情。

好比通用的语音助手，好比医疗、教育、金融内里的许多应用，我们希望未来在这里能施展重大的价值。

未来的 GPT 会更通用，人类别怕

适才前面讲的主要就是 GPT-3 在语言方面的一些能力，未来 GPT-3 还醒目什么？实在我以为稀奇主要的一种能力就是多模态，由于语言只是一种模态，图象、声音、视觉又是另外一种模态，我们怎么在一个系统内里做多模态的事情。

最近 OpenAI 展现出了一个例子，就是你跟 GPT-3 说“帮我天生一个牛油果咖啡桌”，可能许多人听到“牛油果咖啡桌”脑海中没有任何感受，然则人人可以看到后面这个屏幕上 GPT-3 就天生出来了一个牛油果咖啡桌，异常有创意，异常有想象力。

除了天生图片，它也可以舞蹈。好比 Google 最近做了一个系统，你给他一段音乐，给他前面起始动作，这个 AI 系统就可以自动天生一段舞蹈，而且这个舞蹈异常的有创意，而且异常的优美。

以是人人看到未来的 GPT、类 GPT 这种模子他会怎么进化？他可能会从一个单一模态，语言的模态进入到语言、视觉、图象、动作这种多模态，异常的通用。

若是人人看这个手艺发展，若是以 5 年为周期，好比 2016 年 AlphaGo 出来以后 AI 火了，实在这个已往 5 年我们有许多希望。

未来 5 年可能又是同样的事情，我们可以以为 2020 年可能是通用 AI 的元年。

人人可能会忧郁 AI 进化得这么快，人类怎么办？我们需不需要异常忧郁？这确实是一个问题，首先我想表达一下一方面 AI 的进化确实是异常惊人，若是我们把 AI 的进化跟人类社会的进化对照一下，他有几个特点：

第一，AI 异常用功，他可以不用饭，可以 24 小时，只要另有电他就可以不停地算。

第二，AI 系统可以大规模地协作，好比适才说一万个 GPU 可以训练一个模子，你再给他加成十万个 GPU 他还可以做异常好的协作。这个在人类社会，协作可能没有那么容易，由于每一小我私家都有自己的想法，最后纷歧定能够通力协作。

第三，AI 的进化具有连续性。什么意思？好比这小我私家类我们好不容易出了一个天才爱因斯坦，然则到了一定的岁数可能爱因斯坦就去世了，这个时刻我们要等许多年才气再出一个爱因斯坦，没有连续性，然则 AI 的进化他有连续性。

好比这个机械没电了，或者这个机械的模子在一台机械上算完了，你可以把它 copy 到另外一台机械上，就可以接着算。

这个也是异常厉害的，总体来说我们一方面确实要看到 AI 的进化是异常惊人的，而且异常快的，然则另外一方面我以为我们也没有需要有太多的忧郁。

你忧郁也纷歧定有用，我以为作为一个社会，作为一个个体可以做的事情，好比政府他应该立法珍爱隐私、珍爱数据，不要 AI 为敌人所用。

作为小我私家要明白这个 AI 醒目什么，不醒目什么，让 AI 成为你的同伙，辅助你解决问题。

前面是我对通用 AI 的一些简朴先容，以及以 GPT-3 作为一个例子，固然 GPT-3 只是其中的一个相对通用的 AI 模子，虽然前面我讲他异常厉害可以干种种事情，然则实在他另有许多不完善的地方。

以是我们真正要通往通用的人工智能另有异常长的一条路要走，最后用一句话来总结一下，就是“路漫漫其修远兮，AI 上下而求索”。

谢谢人人。

本文来自微信民众号：极客公园（ID：geekpark），演讲：李志飞，整理：赵子潇，责任编辑：宋德胜