题图来自视觉中国，本文来自微信民众号：investguru（ID：investguru），作者：王川

1. GPT-3 全名“General Pretrained Transformer-3”（通用预训练转换器，第三版）， 是 OpenAI 开发的一个自然语言处置的盘算模子，最初泛起在 2020年五月尾公然公布的一篇论文 “Language Models are Few-Shot Learners” （小样本学习的语言模子， 第一作者为 Tom Brown）。到七月中旬一位开发者发现此工具可以把通俗英文口语自动转化成盘算机程序代码，因此迅速在科技社区风靡。

2. GPT-3 说白了，就是一个电脑程序， 凭据你输入的提醒性文字或树模，可以不停根据你的要求自动天生新的文字， 直到某个长度的上限。它的一大优点是不是专门为某一个特定义务所训练，所谓“义务无偏” （task-agnostic）， 但在许多义务的显示上，已经不输于那些为某个特定义务微调多次的语言模子。打个譬喻，它就像一个通才教育的自学者，没有接受细分专业的稀奇培训，但解物理数学题，吹拉弹唱，望闻问切，杀猪宰羊的水平，和科班出身的专业人士不分伯仲。

3. 在应用上，GPT-3 被发现可以——

i. 直接把英文口语转化成响应的程序代码。

ii. 把英文翻译成法文或其余语言。

iii. 在收到简朴的要点提醒后，可自动天生完整的段落，并回复电子邮件。

iiii. 自动实现执法用语和口语之间的转换。

iv. 自动写小说， 诗歌，剧本等等。

4. 据使用者说，GPT-3 的 60~70% 的输出都是些垃圾， 但这并不故障有 30%的输出是高质量的甚至令人惊艳的文字。这比之前的 GPT-2 版本只有 5~10% 的高质量文字输出已经大大提高。

5. 下面是 GPT-3 自动天生的一些金句。（摘自推特 @Wisdom_By_GPT3）

“世界上任何你看不惯的器械，都可以用‘这不好玩’来应对。”

"大自然残酷无情，从不饶恕，而又优美的方式，和人脑清晰的头脑格格不入。” 

“一旦你拥有了已往，你就可以缔造整个宇宙。”

“若是我知道人生的意义是什么，我 （TMD）还会上这来浪费时间吗？” 

6. GPT-3 作为最新的自然语言处置模子，耗费了约莫 3640 个 Pflops-day 的算力。（ 一个 Pflops-day 靠近十的二十次方个浮点盘算）。这个盘算成本约莫一千两百万美元，预测是根据当下微软的云盘算价钱估量的。微软号称投资十亿美元给 OpenAI， 这内里很大部门来自于把云盘算的算力按某个批发价折算成投资金额。现实也就只够训练 GPT-3 约莫八十次而已。

7. 支持 GPT-3 和其它类似的自然语言处置模子的生长，主要有三个方面。第一是算力的提高。有剖析指出，已往几年一致算力 （以半精度浮点盘算为尺度）的 GPU 价钱下降幅度约莫每年 26%，这相当于每八年降低一个数量级，或者说，一致成本，每八年算力就增添十倍。

8. 第二，新的盘算模子涌现， 提高自然语言处置的效率。Transformer 模子自己的泛起，也就是来自 2017年十二月一篇名为 “Attention is all you need” （ “注意力机制就是你所有所需的”， 第一作者为 Ashish Vaswani）的论文。这个算法允许高并行度的数据处置，因此大大削减数据训练的时间。完全可以预期，未来还会有更新更高效的盘算模子涌现。

9. 第三，更多更高质量的原始数据。GPT-3 的训练数据，60%来自于一个名叫 Common Crawl 的截止到 2019年底数据库，经由过滤整理后，数据量仍然高达 570 GB。另外的数据来自维基百科和其它互联网数据库。

10. GPT-3  的一个潜在应用，是可以更快更精准地寻找到用户的深度搜索需求，而不只是基于少数关键词的较为肤浅的搜索，这可能对传统搜索营业形成直接威胁。险些可以一定的是，它的泛起会引发谷歌，脸书，亚马逊等竞争者的迅速跟进。OpenAi 的领先时间窗口不会跨越十二个月。机械和盘算用度，对于这些万亿美元市值的公司而言，都不是障碍。把训练好的模子尽早对外开放使用，抢占市场高地，才是当务之急。

11. 什么是创意？无非就是把以前没有毗邻起来的知识点，毗邻起来，发现可以更高效地做更有趣的事。Gpt-3 用于训练的原始数据总共靠近 1000 GB。与之相比，一本通俗电子书的巨细不跨越 3 MB， 这就意味着 GPT-3 的阅读量相当于至少三十万本书籍。昔人的“学富五车”， 若是一辆车最多装载一百本竹简做成的书，那GPT-3 的知识量相当于“学富三万车”。 笔者的老文章里曾提到（王川： 一年读五百本书，让你天天高潮迭起），但面临一个存储三十万本书籍的智慧的程序，也只能自愧不如。

12. GPT-3 通过程序毗邻种种知识点的效率和可能性比人脑强几个数量级，而且还在不停进步。这是辅助所有艺术家，科学家和企业家发生创意的利器。有人把 GPT-3 比做和一万名博士在对话。若是你能和一个相当于“万名博士”的智能体不停愉快地对话，为什么还要在其他人或事上浪费时间？

13. 互联网的转折点是1993年三月 Mosaic 浏览器的泛起，其重大价值在于可以让全世界任何人异常方便地实时，零成内陆共享大量文件。Gpt-3 现在似乎还相当于浏览器之前的 ftp， gopher 之类的工具的水平， 但这类工具让人看到的期望是，全世界任何人都能以极低的成本，掌握一个不停增进的超人的信息检索，处置和输出的能力， 更多参与者在这类平台上以超人的能力交流互助，其财富缔造的发作不可限量。

14. 在盘算速度，原始数据和算法模子继续提高的基础上，未来几年 gpt-3 之类的自然语言处置工具，将会演变成一种吸取了人类几千年的所有智慧，并连系深度搜索和剖析能力的超级智囊。

15. 好比一个女生问，“我的男朋友今天说了云云云云的话，我很生气，他还爱我吗？” gpt-3 回覆可能是，“还爱，你想多了”，或者是， “他外面一定有人了，赶忙分手”。

16. 再如，某个男生问：“我和某某女生今天有云云云云的对话，她对我有意思吗？” ；gpt-3 的回覆可能是，“她还在骑驴找马，你只是备胎” ；或者是，“傻小子，表示已经很明显了，还不赶忙往前冲”。 

17. 再好比，让 gpt-3 剖析一下某个当红公司的财务报表，gpt-3 扫描之后可能迅速发现：它现实上隐性欠债不停增添，现金流在萎缩；它所在的这个行业其它竞争者利润率一样平常都在10%以下，它并不是行业领先者，高利润率异常可疑 ；它的几个主要大客户身份不明，关联买卖和造假帐的嫌疑极大，需要继续观察。

18. 而让 gpt-3 剖析另外一个小公司，它可能会发现：此公司虽然现在还很小，估值相对很高，但利润率极高，没有任何欠债，现金增进速度异常快，营销用度和获客用度极低，在业内的品牌已经很明显了。按现在趋势过了某个临界点，会有发作性增进， 这是不可多得的好公司。

19. 再好比，某某给你许诺高官厚禄，要让你反水倒戈现在的老板，你该怎么做？gpt-3 会告诉你，“请参见1936年蒋介石用两百万现大洋把陈济棠手下的黄光锐挖过来，厥后又怎么一步步堂而皇之把钱赖掉，然后黄还有苦说不出的案例。”

20. 再好比， 上司突然要把你调到不熟悉的外地事情，和你自己的嫡系人马隔脱离，这是什么意思？gpt-3 会告诉你，“请参见 1937年史大林把图哈切夫斯基调离莫斯科到伏尔加分区事情，然后过了几周又抓回来再处决的案例 " 。  

“那怎么破？”

GPT-3 回覆，“有上中下三策， 下策请参见资治通鉴，第*卷，某某纪。中策……对不起，您的余额不足，请充满******大洋后再重新提问”。

（未完待续）

本文来自微信民众号：investguru（ID：investguru），作者：王川