本文来自微信民众号：文化纵横（ID：whzh_21bcr），原题目《要命的不是人工智能统治天下，而是人可能先亡于它缔造的一切好事 》，作者：赵汀阳，题图来自：影戏《终结者》

导读：伴随着新手艺的生长，人工智能将在诸多方面对人类生涯发生重大影响。受启蒙运动以来理性化个体主义的影响，人工智能的发育与矫变也在一定水平上反映出理性主义的狂妄。赵汀阳先生指出，对于人工智能的浪漫主义反思，已远远不能遇上人工智能的生长速率。

无疑，人工智能作为人工塑造物，其有成为潜在社会主体的能力。一方面它将突破人性的局限性，将适用一种更为简朴粗暴的社会运作方式，以使得文明社会重新野蛮化；另一方面，手艺生长将塑造出作为绝对强者的人工智能系统，而它也可能造成新的社会失衡。

然则，若是我们用人类头脑减去人工智能头脑，则会发现人工智能缺失反思能力、自动探索能力和缔造力。而若是人工智能学会了人类的情绪、欲望与价值观，这个天下将加倍危险。不外，作者有一种悲观论调，即在人工智能成为天下统治者之前，人类可能已经死于人工智能所缔造的一切好事。

人工智能提出了什么哲学问题？

“以浪漫之心观之，手艺都有去魅之弊而导致精神穷困”

远在手艺预示致命危险之前，敏感的头脑家们就对手艺的效果深感忧虑。众所熟知，庄子谓“有机械者必有机事，有机事者必有机心”，应该是对手艺的最早批判，其理由是，手艺是投机取巧逃避劳动，违反自然之道，而投机取巧之心一定心怀叵测。庄子的手艺批判在尚未温饱的时代险些不能理喻，但在理论上却有难以置信的前瞻性。当现代手艺最先显著地消解生涯意义之时，人们对手艺最先了严重的批判。

韦伯指出手艺导致自然的“去魅”，即手艺剥夺了一切事物的精神性，除了工具或经济价值，任何事物都失去内在价值。海德格尔进一步发现，手艺导致生涯诗意的消逝，不仅是美学履历的退化，更是对存在的遮蔽，当失去印证存在的本真方式，生涯就失去依据，精神无家可归。这些批判虽有形而上的深度，但限于浪漫主义明白。在手艺中流连忘返的人们并不忧郁失去对存在自己的虚无缥缈明白，也未必为此感到遗憾。

前现代的生涯或许比现代更有诗意，也更有真实感和精神依据，以是古代人更多地感伤运气，而不会像现代人那样疑惑于找不到“生涯的意义”。在一次私下讨论中，李泽厚老师说，解决了温饱问题之后，生涯就很容易失去确定的意义，或者说，逾越了生计所需就很难确定什么是无疑的生涯意义了。

这个激进唯物主义的看法令人心惊，其中确有灼见，但我仍然愿意信赖，在生计需要之外一定存在着精神性的生涯意义，以至于有人为之舍生忘死。古代人有着更多舍生忘死的精神理由，那时万物都有赋魅的传说，事事具有精神性。毫无疑问，嫦娥的月亮一定比阿姆斯特朗的月亮更有魅力。

老一代的手艺批判都具有某种怀旧色彩，都以为手艺破坏了生涯的精神性。简直云云，然而无可否认的是，现代手艺缔造了对于生涯极其主要的无数事物，好比青霉素等抗生素、外科手术、疫苗接种、抽水马桶、供暖系统、自来水系统、电灯等等，尚有许多便利工具如汽车、火车、飞机、电脑之类。以浪漫主义之心观之，手艺都有去魅之弊而导致精神穷困。

但我记得李泽厚问过一个类似于罗尔斯无知之幕的问题：若是不能选择人物角色，你会选择什么时代？岂非会选择古代吗？对这个超现实主义问题真是无言以对，但这个问题提醒了一个事实：人性倾向于妄想便利省力、脱节劳动、清闲享受和物质利益，因此绝大多数人宁肯选择物质高于精神的手艺化生涯。老一代手艺批判想象的人们“原有的”诗情画意生涯同时也是艰难困苦的生涯，什么样的精神才气拯救饥饿的肉体呢？固然也可以反过来问，物质能变精神吗？显然，物质是问题，精神也是问题。

老一代的手艺批判揭发了手艺对精神的危险，却尚未触及手艺的最终危险所在，在今天，我们已经可以想象手艺对生计的基本挑战。可以模拟马克思说：哲学家只是差别地批判了手艺，可问题是，手艺改变了天下。

人工智能是否将导致文明野蛮化？

当手艺问题同时成为存在论问题，真正要命的可能性就展现出来了。

存在论一直受制于单数主体的知识论视域（horizon），即以人的视域来思索存在，而且默认人的视域是唯一的主体视域，以是，存在论从来没有逾越知识论。基于人类知识论的自信，康德才敢于宣称人为自然立法。也可以循环论证地说，人是自然的立法者，以是人的视域是唯一视域。

不外，人们曾经在神学上设想了高于人的绝对视域，好比莱布尼茨论证了天主能够一览无限多的所有可能天下。然而，这种理论上的绝对视域无法为人所用，人不能能想象看清无限多可能天下的绝对视域到底什么样。人能够有用使用的唯一视域照样人的主体性视域，如维特根斯坦所言，这是头脑的界线。

头脑没有能力逾越自身，就像眼睛看不见眼睛自身（维特根斯坦的比喻），但头脑做不到的事情却在实践中可能实现。人工智能就有可能发展为另一种主体，另一种立法者，或者另一种眼睛。这意味着一个存在论巨变：单向的存在论有可能酿成双向的存在论（甚至是多向的）。天下将不仅仅属于一种主体的视域，而可能属于两种以上的主体，甚至属于非人类的新主体。人工智能一旦生长为新主体，天下将进入新的存在论。

人工智能有着多种界说。科学上通常将属于图灵机观点的人工智能标志为AI，将等价于人类智能的人工智能称为AGI（通用人工智能，artificial general intelligence），而周全逾越人类智能的高端智能称为SI（超级智能，super intelligence）。

这个科学分类形貌的是在手艺上可丈量的智能级别，但我们试图讨论智能的哲学性子，即是否具备“我思”的主体性，因此，请允许我在这里将人工智能凭据其哲学性子举行划分，一类称为AI，即尚未到达笛卡儿“我思”尺度的非反思性人工智能，笼罩局限与科学分类的AI大致相同，即属于图灵机观点（包罗单一功效的人工智能，例如阿尔法狗，以及尚未乐成的庞大功效人工智能）；另一类称为ARI，即到达或逾越笛卡儿“我思”尺度的反思性人工智能（artificial reflexive intelligence）。ARI约即是超级人工智能，或超图灵机，我也称之为“哥德尔机”，以示意具有反思自身系统的能力。

需要注重的是，ARI一定包罗但不一定成为AGI或SI，这意味着，ARI未必具备人类的每一种才气，但必须具有自主的反思能力以及修改自身系统的能力，于是就具有自律自治的主体性，就成为无法支配的他者之心，也就成为天下上的另一种主体。

以主体性为准的分类试图突出地表达人工智能的可能质变，即奇点。现在看来，人工智能发生质变的奇点还很遥远，预言家们往往夸大其词，但问题是，人工智能的奇点是可能发生的。智能的要害不在于运算能力，而在于反思能力。人的主体性本质在于反思能力，没有反思能力就不是头脑主体。若是人工智能没有反思能力，那么，运算能力越强就对人类越有用，而且没有致命危险，好比AlphaGo Zero运算能力虽强却不是对人的威胁。反过来说，纵然人工智能在许多方面弱于人，但只要具备反思能力，就形成了具有危险性的主体。

假设有一种人工智能缺乏人类的大多数技术，既不会生产粮食也不会生产石油，云云等等，只会制造和使用先进武器，而它却生长出了自主反思能力，那么效果可想而知。至今人工智能只具有算法能力或类脑的神经反映能力，尚无反思功效，甚至不能一定是否能够生长出反思功效，仍然属于平安机械，纵然未来可能泛起的多用途而且具有天真反映能力的人工智能，只要缺乏反思功效，就仍然不是新主体，而只是人类的最强助手。

大多数手艺都只是增强或扩展人类能力，好比生产工具和制造工具的机械，从蒸汽机到发电机，从汽车、飞机到飞船，尚有电话、电脑、互联网到量子科技等等，图灵机人工智能也属于此类。无论手艺何等壮大，只要手艺系统自己没有反思能力，就没有存在论级其余危险。从乐观主义来看，此类手艺所导致的社会、文化或政治问题仍然属于人类可控局限。固然其中存在一些高风险甚至恶意的手艺，好比核电站就是高风险的，至今尚无处置核废料的万全之策，又如核武器，其功效是大规模屠杀。

人工智能和基因手艺的生长却在超出增强能力的观点，正在酿成改变物种或缔造新物种的手艺，就蕴含着人类无力肩负的风险。只管“神一样平时的”能力现在只是理论上的可能性，但已经先于实践提出了新的存在论问题，也连带提出了新的知识论和新的政治问题。需要注重的是，这些新的哲学问题并不是传统哲学问题的升级版，而是从未遭遇的新问题，因此，传统哲学对手艺的批判，包罗庄子、韦伯和海德格尔之类，基本上无效，甚至与新问题不相干，就是说，人文主义的伦理观或价值观对于手艺新问题基本上文不对题。

人工智能和基因手艺都提出了挑战人的观点的存在论问题，但相比之下，人工智能的危险性似乎大过基因手艺。人工智能是真正的缔造物，因此完全不能测，而基因手艺是物种改良，应该存在自然限度。这个断言基于一个难以证实却可能为真的信心：对于一个整体性和封锁性的系统来说，内部因素的革命能力不能逾越整体预定的物理或生物限度，如果内部转变一旦超出整体限度，就是系统溃逃。在这里意味着，基因手艺的革命性不能能逾越生命的生物限度。也许基因手艺能够成为物种优化的方式，但无论什么物种，作为生命都有其整体所允许的转变极限。基因手艺是否真的能够使人长生不老，仍是未知数。

听说某些爬行类或鱼类生长缓慢而长寿，或如灯塔水母甚至有返老还童的特异功效以至于似乎万寿无疆，但那些异常长寿的生物都是智力极低的，这是个令人失望的表示。若是对人举行基本性的基因革新，是否会引起生命系统的溃逃？好比说，大脑或免疫系统会不会溃逃？试图通过基因手艺将人彻底革新为神一样平时的全新物种，在生物学上似乎不太合理。更现实的问题是，基因优化哪怕是有限的就已经异常可能导致社会问题的恶化，以至于导致人类团体灾难，在此岂论。

就缔造新物种的能力而言，人工智能比基因手艺更危险。人工智能一旦突破奇点，就缔造了不能测的新主体，而对于新主体，传统一元主体的知识、视域和价值观将会停业，而二元主体（甚至多元主体）的天下还很难推想。只管许多科幻作品想象了恐怖的机械人或外星人而使人获得受虐的快感，但人类对手艺化的未来并没有认真的头脑或心理准备。

且不说遥远的二元主体天下，纵然对近在眼前的低级人工智能化或基因手艺化的社会，人们也缺乏足够的小心。先不思量末日问题，高度手艺化的社会也将高度放大本就存在的难题而使人类陷于不能救药的逆境，好比贫富分化、阶级斗争、种族斗争、民族斗争、资源稀缺、大自然的萎缩和失衡。

刘慈欣在论文式的短篇小说《赡养天主》和《赡养人类》中想象了万事智能化的“晚年文明”令人绝望的故事。其中有两个切中要害的论点：

其一，高度蓬勃的人工智能险些万能，全自动运行，于是形成让所有人人给家足的“机械摇篮”，正如宇宙中极其蓬勃而名为“天主文明”的人所说的：“智能机械能够提供一切我们所需要的器械，这不只是物质需要，也包罗精神需要，我们不需为生计支出任何起劲，完全靠机械养活了，就像躺在一个恬静的摇篮中。想一想，如果当初地球的森林中充满了采摘不尽的果实，到处是伸手就能抓到的小猎物，猿还能进化成人吗？机械摇篮就是这样一个富庶的森林，渐渐地，我们忘却了手艺和科学，文化变得懒散而空虚，失去了创新能力和进取心，文明加速老去”，于是所有人都酿成了“连一元二次方程都不会”的废物（《赡养天主》）。这里提出的问题是，人工智能缔造的幸福生涯却事与愿违地导致了文明衰亡。

(图片来自《三体》)

其二，人工智能社会尚有另一个更具现实性的版本。一个尚未到达“天主文明”那么蓬勃的智能化文明就已经陷入了文明的绝境。在小说中，比地球蓬勃而文明类型完全相似的“地球兄弟文明”的人讲述了地球文明的远景：周全智能化的社会不再需要劳动，富人也就不再需要穷人，而阶级上升的门路也被堵死，由于富人垄断了“教育”。

那不是传统意义上的教育，而是人工智能和生物手艺互助而成的人机合一手艺，购置此种极其昂贵的“教育”就成为超人，在所有能力上与传统人不在一个量级，其级差大过人与动物的差异，于是“富人和穷人已经不是统一个物种了，就像穷人和狗不是统一个物种一样，穷人不再是人了……对穷人的同情，要害在于一个同字，当双方相同的物种基础不存在时，同情也就不存在了”（《赡养人类》）。这说明，无须等到泛起超级人工智能，智能化社会就已经足以把部门人类酿成新物种，就是说，纵然人工智能的奇点没有泛起，人类文明的严重问题就可能来临。

且不说人工智能的奇点，近在眼前的问题就足够惊心动魄了。人类本来就未能很好地解决利益分配、社会矛盾、群体斗争或文明冲突等问题，这些问题之以是无法解决，基本原因在于人性的局限性，而不在于人谋的局限性。令人失望的是，人类解决问题的能力显著弱于制造问题的能力，以是积重难返，而人工智能或基因手艺是放大器或加速器，对老问题更是雪上加霜。

只管人类发现晰堪称伟业的政治制度、执法体系和伦理系统，但人类头脑能力似乎正在迫近极限，近数十年来，天下越来越显示出头脑疲劳或者懒惰的迹象，头脑创意显著削减，头脑框架和观点基本上停留在200年前。对于人工智能和基因手艺等新问题，除了一厢情愿的伦理批判，就似乎一筹莫展。为什么对人工智能的伦理批判文不对题而无效？其中有个恐怖的事情：在一个文明高度智能化的天下里，伦理学问题很可能会消逝，至少边缘化。这是与人们对文明生长预期相悖的一种可能性，看起来谬妄，但异常可能。

通常信赖，人类文明在不停“提高”。就科学手艺而言，毫无疑问是在提高，但除了科学和手艺，其他方面是否提高就存在争议了。手艺的本质是能力，而能力越大，其博弈平衡点就对手艺掌权者越有利。若是手艺掌握在少数人手里，弱者的讨价还价收益就越小。那么，给定人性稳固，文明的人工智能化就异常可能导致文明的重新野蛮化（re-barbarization）。

在这里，“野蛮化”不是指退化到洪荒的生涯水平，而是指社会关系恶化为强权即真理的森林状态，就是说，既然占有手艺资源的人拥有压倒一切的必胜手艺，就不需要伦理、执法和政治了。这个霍布斯式的原理众所周知，只是宁愿回避这个令人不快的问题而维护一种虚伪的幻觉。人类一直都有好运气乐成地回避了这个“最坏天下”问题，那是由于霍布斯的天下里没有绝对强者，既然强者也有许多致命弱点，那么人人都是弱者，而每小我私家都是弱者这个事实正是人类的运气之所在。

正如尼采的发现，弱者才需要道德。人人为弱者就是人类的运气，也是伦理、执法和政治的基础，伦理、执法和政治正是互有危险能力的弱者之间历久博弈形成的稳固平衡。固然也有博弈平衡无法注释的“精神高于物质”的破例，好比无私的或自我牺牲的道德，这是人类之谜。精神高于物质的征象并非人类社会的主要结构，不组成决议性的变量。

高度蓬勃的人工智能或基因手艺或有一天可能宣布人类的运气用完了（并非一定）。凭据最小成本和最大利益定理可推，人类文明之以是生长出庞大的制度、伦理和执法，是由于没有能力以低成本的简朴方式去解决权力和利益问题。通常信赖，文明的庞大水平标志着文明的蓬勃水平，庞大性与细腻、巧妙、协调、难度和精神性等文明指标之间确有相关性，以是“高级”。一个成熟文明的伦理道德是庞大的，执法和制度是庞大的，头脑和艺术也是庞大的。这些成熟标志隐藏了一个本质问题：庞大意味着高成本（包罗交易成本），而正由于高成本，以是不能能实现利益最大化。

于是有一个残酷的定理：若是有能力以最小成本的最简朴方式去获得最大利益，人就会理性地选择简朴粗暴的方式去解决问题，而不会选择庞大的高成本的方式。因此可知，一旦人工智能和基因手艺缔造了绝对强者，绝对强者就很可能行使绝对优势的手艺去实现文明的重新野蛮化，好比说祛除“无用的”人，而放弃高成本而庞大的伦理、执法和政治。显然，对于一个重新野蛮化的高手艺天下，伦理学就文不对题了。不外，人类尚有反思和调整的时间，这不知算不算是好新闻。

对可能泛起的文明重新野蛮化，人们之以是缺乏足够的小心性，或与启蒙运动以来人类的主体性狂妄有关，这同时也是理性的狂妄。启蒙理性告别了以神为尊，转向以人为尊，这场伟大的头脑革命使人陶醉于主体性的胜利而逐渐忘却了人的真实面目。在以神为尊的古代，神是不能质疑的，同样，在以人为尊的现代，人也是不能质疑的，于是掩盖了人的弱点、瑕玷甚至罪过。只要天下泛起了什么坏事，总是归罪于制度或看法，不再反思人。

从“原罪”中脱身的人再也没有肩负，肆无忌惮地以人之名去要求获得一切快乐、利益和权力。现代政治的凭据不再是对人有所约束的自然神学或宗教神学，而是人的神学，所谓大写的人。可是细微而自私的人纵然“大写”又能有多大呢？人凭什么获得想要的一切？主体性的狂妄反而展现了人的神学是反人类的。

小我私家主义可以珍爱小我私家，却没有能力珍爱人类，小我私家主义的这个致命弱点在人类整体面临挑战时就原形毕露了。未来若是泛起超人类的人工智能，或者极少数人控制了高能的人工智能，小我私家主义社会将没有能力反抗人工智能的统治，由于人工智能不是小我私家，而是比所有小我私家壮大得多的系统。

如前所言，绝对强者的人工智能系统不需要苦苦地通过庞大而高成本的制度、伦理和执法去解决社会矛盾，而将会“理性地”选择简朴粗暴的解决方式。简朴地说，启蒙运动以来的现代头脑和信心对于手艺为王的未来问题是文不对题而且无能为力的。史蒂芬·平克还在呼叫“当下的启蒙”，可是手艺的脚步已经跨越了启蒙的头脑而走向危险的未来。

人类的问题正在更新换代，现在的哲学对手艺社会的新问题一筹莫展。

人类头脑若何反思人工智能？

为了明白新问题，看来需要进一步剖析意识的隐秘。意识是人类最后的碉堡，也是人类发现出路的唯一资源。可是人类研究意识至少有两千多年了，仍然对意识缺乏整体或透彻的明白。在意识研究中，亚里士多德对逻辑的发现是其中最伟大的成就，其他主要成就还包罗休谟对因果意识和应然意识的研究、康德对意识先验结构的研究、索绪尔以来的语言学研究、现代心理学研究、弗洛伊德以来的神经病研究、胡塞尔的意向性研究、维特根斯坦对头脑界线的研究，尚有现代认知科学的研究，云云等等。

但意识之谜至今尚未破解，一个主要的原因是，以意识去反思意识，其中的自相关性使意识不能能被完全工具化，总有无法被明白的死角，而谁人无法明白的地方很可能蕴含着意识的焦点隐秘。

现在似乎泛起了意识客观化的一个机遇：人工智能最先能够“头脑”——头脑速率如电，只管头脑方式很简朴：机械算法和应答式反映。正是这种简朴性使人发生一种想象：头脑是否可以还原为简朴的运作？固然，现在的图灵机头脑还没有自觉意识，只是机械地或神经反映地模拟了意识。人工智能展现的头脑方式，部门与人类相似（由于是人类写的程序），也部门与人类不相似（由于机械的运作终究与生物差别），那么，是否能够从人工智能来映射意识？或者说，人工智能是否可以明白为意识的一种工具化征象？或至少成为有助于明白头脑的对比参数？这些尚无明确的结论。

这里至少有两个疑问：

其一，纵然是未来可能实现的多功效人工智能，也生怕不能与人的头脑形成完全映射。凭据我先前的剖析（或许有错误），图灵机观点的人工智能不具备原创性头脑（区别于冒充缔造性的遐想式或组合式的头脑），也没有能力自己形成或提出新观点，更不能对于自相关、悖论性或无限性的问题，也没有能力界说因果关系（可笑的是，人至今也不能完美地界说因果关系），因此，人的头脑不能能还原为图灵机人工智能。

其二，如果人工智能到达奇点，跨级地生长为ARI，成为另一种意识主体，是否等价于人的意识？这个问题的庞大性和不确定性超出了现在的明白能力，类似于说，人是否能够明白神的头脑？或是否能够明白外星人的头脑？要害问题是，假定存在差别种类的头脑主体，是否有理由推断，所有种类主体的头脑都是相通一致的？都能够杀青映射——哪怕是非完全的映射？这个问题事关是否存在普遍的（general）头脑，相当于任何头脑的元头脑模式。这是关于头脑形而上学的一个最终问题。

设想另一种主体的头脑要有异常的想象力。我读到过两种（莱布尼茨所明白的天主头脑太抽象，不算在内）：一种是博尔赫斯在小说《特隆、乌克巴尔、奥尔比斯·特蒂乌斯》中想象的“特隆天下”，特隆文明只体贴时间，特隆人所明白的天下只是头脑流程，于是，天下只展现时间性而没有空间性。

以此种头脑方式生产出来的知识系统以心理学为其唯一基础学科，其他学科都是心理学的分支。特隆的哲学家不研究真实，“只研究惊讶”，形而上学只是一种理想文学（算是对人类的形而上学的冷笑）。脱节了空间肩负的头脑无疑纯度最高，对于唯心主义是个来自梦乡的好新闻，惋惜笛卡儿、贝克莱、康德和胡塞尔没有听说过这么好的新闻。

另一种惊人想象见于刘慈欣的《三体》三部曲。三体人以发送脑电波为其交流方式，不用语言，于是，在三体文明里，交流中的头脑是公然的，不能隐藏想法，一切头脑都是真实想法（哈贝马斯一定喜欢这种老实的状态），因此不能能诱骗、说谎或伪装，也就不存在战略，不能能举行庞大的战略头脑，所有战争或竞争只能比真本事。这种完全老实的文明消除了一切峰回路转的故事，显然与人类头脑方式南辕北辙。

宇宙无奇不有，也许真的存在着多种头脑方式，至少存在着多种头脑的可能性。让我们首先假定，种种主体的差别头脑之间是能够交流而且相互明白的。若是没有这个假定就一切免谈了。进而可推知，在差其余诸种头脑模式之中存在着普遍的一样平时结构。那么，一样平时头脑会是什么样的？我们无法直接知道一样平时头脑的本质，由于不存在一种“一样平时的”头脑，只有隐藏于所有头脑中的一样平时结构。

基于上述假设，种种头脑之间至少在理性化内容上存在着充实的映射关系，因而能够相互明白一切理性化的语句，否则即是说，关于宇宙可以有相互矛盾的物理学或数学——这未免太过谬妄。谬妄的事情也许有，但在这里不思量。

同时，毫无疑问，差别头脑里总会有相互难以明白的非理性内容，新鲜的欲望或兴趣，好比天主不会明白什么是羡慕，或某种单性滋生的外星人不明白什么是恋爱，但此类非理性内容不影响理性头脑的共通性。于是有一个“月印万川”的等值推论：若是充实明白了随便一种头脑，就即是明白了头脑的一样平时本质。然则，如前所言，我们只见过人类头脑，可是头脑又不能充实明白自身（眼睛悖论），又将若何？

显然，头脑需要映射为一种外在化形式以便反思，相当于把头脑看作是一个系统，而且将其映射为另一个等价的系统。与此最为靠近的起劲是哥德尔的天才事情。只管哥德尔没有反思人类头脑整体，只是反思了数学系统，但所建构的反思性却有异曲同工之妙。一个足够厚实的数学系统中的正当命题无限多，对包罗无限多命题的系统的元性子举行反思，无疑是一项惊人的事情。

由此可以遐想，此种反思方式是否能够应用于对人类头脑整体的反思？但人类头脑整体的庞大性否认了这种可能性，由于，在大多数情形下，人的头脑不是纯粹理性的，为了如实明白人类头脑，就不得不把所有非理性的“错误”思量在内，这意味着，人类头脑现实上是无法无天的，不能能还原为一个能够以数学或逻辑方式去注释的系统。简朴地说，若是省略了逻辑或数学不能表达的“错误”头脑，人类头脑就消散了。

在这里，所谓“错误”是凭据理性尺度而言的异常看法，所有非理性看法都被归类为“错误”，包罗欲望、信心、执念、私见、癖好、不正常心理、无意识、潜意识，云云等等。这些“错误”以是必须被思量在内，是由于它们经常是行为的决议性因素，绝非可以清扫或省略的头脑身分。哥德尔的事情一方面启示了反思的可能性，另一方面也提醒了反思人类整体头脑之不能能性。纵然在清扫错误命题的数学系统内，也存在着不能证而为真的“哥德尔命题”，即并非有限步能行（feasible）可证的真命题，因而一个包罗无限多命题的系统（不知道是否真的无限多，至少是足够多以至于似乎无限多），或者存在内在矛盾，或者不完整。

可以想象，比数学系统庞大得多的人类头脑系统显然不仅存在大量内在矛盾，而且永远不能能是完整的。难以置信的事实是，包罗非理性因素而显得“杂乱无章”的庞大头脑却在人类实践中很有成就，好比说，人类的社会制度不能能凭据数学推算出来。纵然就理性化水平很高的科学而言，伟大的成就也不是单纯推理出来的，而是得力于缔造性的发现。现代经济学也从另一个侧面说明晰纯粹理性化的局限性，现代经济学只思量能够数学化表达的那一部门经济事实，而漏掉了大量无法数学化的事实，因此对真实的经济问题缺乏注释力。

这里万万不能误会为对数学和逻辑的质疑。数学和逻辑无疑是人类头脑最主要的方式论，若是没有数学和逻辑，就不存在人类头脑，就仍然是动物。但同时也应该说，单凭数学和逻辑，人工智能无法逾越机械（图灵机）的观点，不能能成为等价于人类头脑或逾越人类头脑的新主体而实现“创世纪”的物种逾越（人工智能的生长不属于进化论，而属于创世论）。只是说，人类头脑具有云云惊人的缔造性能量，一定在数学和逻辑之外尚有其余头脑方式，只是尚不清晰是什么样的。哲学家喜欢将其称为“直观”“统觉”或“灵感”之类的神秘能力，但即是什么都没有说，代号而已。

博弈论是一种广谱的理性剖析模子，通常证实了理性选择的优势，但也同时展现了理性的局限性，好比在作为纳什平衡的“囚徒逆境”中，理性一定选中其次坏的效果，而非理性的选择则以赌钱方式获得最坏或最好效果。给定大多数人自私贪心而见利忘义，那么，非理性选择获得最坏效果的概率一定远远大于最好效果。这一点似乎注释了为什么大多数政治、经济或战争“赌徒”都一败涂地，但也会有极少数获得事业般的胜利而成为传奇。可以推知，一个文明的理性化水平越高，人世就越趋于无故事，历史的事业就越少。人类需要事业吗？或者，人类不需要事业吗？再者，充实理性的超级人工智能需要事业吗？

纯粹理性在逻辑上蕴含着恐怖的效果。好比说，充实理性化的行为有助于到达交易成本的最小化（大于零），凭据此种“经济学理性”，能够到达交易成本最小化的计谋在有的情形下就是恐怖计谋，如前所言，如果拥有能够兵不血刃的手艺代差，强者到达交易成本最小化的计谋就是祛除对手或者奴役对手，而不是通过讨价还价杀青左券。

康德早就发现，在纯粹理性之外必须有实践理性，即道德的理性，否则无以为人，就是说，人的理性必须有道德肩负，否则没有好生涯。但这种理想的隐秘条件是“人人都是弱者”的运气，我们已经讨论过这一点。

这使人想到一个冒汗的问题：一旦到达具有主体性的人工智能，即ARI，会需要或喜欢有道德肩负的实践理性吗？它有这个必要吗？固然，我们无法预料ARI的选择方式，不懂属于ARI文明的博弈论。且以“将心比心”的方式来料想，将有两个可能效果，都令人失望：

其一，若是ARI只有纯粹理性，没有道德理性，那么它将大概率地凭据它的存在需要来决议人类的运气，也许会“赡养人类”而把人类酿成呆子，也许会消灭人类；

其二，如果ARI模拟人类的欲望、情绪和价值观，那么它多半会歧视人类，由于ARI会观察到人类云云自私贪心，言行不一地缺乏人类自己标榜的美德。不外，我们终究无法料想ARI会有什么样的心灵，甚至还尚未明白人类自己的心灵。

心灵的观点比头脑的观点大了许多。若何明白心灵一直是个难题，哲学有个专项研究称为“心灵哲学”，另外尚有心理学和认知科学的助力，虽经时日，希望却不多。心灵具有黑箱性子，在心灵内部举行唯心主义的内省已经被证实没有意义，由于主观内省不能能确定自身的意义。心灵的意义需要外在确认，即语言和行为，这意味着，我们所能够知道的心灵是“说出来的”或“做出来的”，而既不能说又不能做的心灵也许在（is），但尚未存在（exists），而且还存在言行不一的问题。

维特根斯坦以“哲学语法”重构了语言和行为的关系问题。他证实了：

（1）能够想的就能够说，由于语言是头脑形式，也是头脑的界线。

（2）能够用来想的语言一定具有公共性或可共度性。纵然密码也具有共度性，以是能够破译，而唯独一小我私家自己能懂的一次性密码（所谓私人语言）不存在，由于人不能能明白没有任何确定性的意义，以是，在任何意义上不能相同的自我不存在（这对于贪恋“怪异自我”的人是一个致命袭击）。

（3）意义是通过类型（examples）而被确定的，没有类型就不足以明确意义。但若是一条规则的应用领域不是封锁的，那么这条规则就不是“死规则”，可以凭据情形天真应用，好比说，一个玩笑在有的情形下是挖苦，在另一种情形下却是表达亲密。“活规则”意味着，在已确定的类型之外，意义具有可延伸性，能够发生类型之外的新用法。

（4）若是把语言明白为用语言代表的行为，即语言行为，那么，包罗多种“语言游戏”的语言就映射所有行为，其庞大性等价于生涯所有行为。以是，明白头脑的隐秘就在于明白语言的隐秘。

若是维特根斯坦是对的，我们就获得了头脑的一种可明确剖析的工具化形式，同时意味着，语言学是人工智能研究的一个要害领域。若是能够完全剖析人工智能的可能语言，或人工智能语言的可能性，就险些明白了人工智能的潜在智能。这显然不是一件容易的事情，人类尚未完全明白自己语言的隐秘，又若何能够完全发现人工智能的语言能力？这是一个未知数，有待人类剖析能力的提高。

现在虽然无法通盘明白人类头脑，也无法彻底明白人工智能的头脑潜力，但或许有一个有助于发现智能差异的 “减法”，即以人类头脑“减去”人工智能的头脑，会有什么发现？这个问题等价于寻找人工智能的奇点在那里。可以设想一个详细情形来明白这个问题：若是给人工智能输入人类的所有数学和物理学知识（相当于人工智能“学会”了所有数学和物理学），人工智能是否能够解决人类现在无解的数学难题或提出更先进的物理学理论？看起来不太可能。通过智能“减法”可以预见，无论算法能力多强的图灵机人工智能，都缺少人类特有的几种神秘能力：反思能力、自动探索能力和缔造力。

这里讨论的反思能力属于狭义的反思。广义的反思包罗了对事物的指斥（criticism），即凭据一些既定价值尺度或真理尺度对事物举行指斥。广义的反思对于人工智能不是难事，人工智能可以从其现成的知识库里找到响应的指斥尺度来对事物做出评价和剖析，但这只是为人类代庖。严酷的反思是对头脑自身系统的元性子（元结构或元定理）举行剖析，类似于康德所谓的理性批判（critique），把头脑自身看成工具来剖析头脑自身的能力，即以自相关的方式明白头脑自身，通俗地说，就是对头脑自身的能力举行“摸底”。

典型的反思有亚里士多德对逻辑的发现、休谟对因果看法的剖析、康德对先验范围的探索、罗素对数学基础以及悖论的剖析、希尔伯特对系统公理化的研究、布鲁威尔对能行性的研究、胡塞尔对意识内在客观性的研究、哥德尔对数学系统完整性的研究、图灵对机械头脑的研究，等等。只要能对自身举行自相关的研究，就标志着头脑获得了自主性，就有可能对头脑系统举行修改。AI尚未获得此种能力，因此还不能能成为ARI。

自动探索能力也是头脑自主性的一个标志。除了足够蓬勃的智力水平，自动探索能力还与生计压力有关。若是没有生计压力，就不会有自动探索的念头，也就不会发现新事物和生长新知识。汤因比的说法是，“适度挑战”是文明生长的要害条件（过分挑战就灭绝了，没有挑战则不需要探索）。AI没有生计压力，只是人类的最好副手。纵然到达ARI，具有与人类匹敌甚至优于人类的智力，若是缺乏生计念头，就不太可能自动探索，也就难以发动反思或创新，更不能能缔造人工智能自己的文明。

现在人工智能的一些“缔造性”演出好比创作绘画、音乐或诗歌，都不是真正的创作，只是基于输入的参数或数据的新遐想和新组合。有趣的是，现代以来，人类对什么是缔造性也发生了杂乱的明白，往往将缔造性等同于“新”甚至是一次性的新。可是“新”过于平时廉价，事实上每件事都是新的或不能完全重复的，每次的字迹都是新的，每个动作都是新的，每次履历都是新的，“人不能能两次踏入统一条河”。既然每件事都具有唯一性或怪异性，以是都是新的。若是缔造性即是新，就失去了价值。可见“人人都是艺术家”（博伊斯）是一个过于讨好时代的谣言。

神“缔造”天下的神话早已点明晰缔造的基本寄义：无中生有。人的能力有限，不能无中生有，以是只能创作，不能能缔造，但其缔造性相似，因此可以说，缔造性在于改变力，在于能够改变天下或历史，改变生涯或履历，改变头脑或事物，或者说，缔造性在于为存在增添一个变量。与智力差别，缔造性无法丈量，以是神秘。

缔造性很可能并不是头脑诸种能力的其中一种，而是诸种能力的互助方式，因此在每一种可形貌的头脑能力中无法识别哪一种是缔造力，就是说，缔造性是头脑的“系统总动员”。以是缔造性头脑往往在于对无限性、庞大性和自相关性的明白力，或者在于形成观点的能力，这两种头脑具有类似于“创世”的效果，即为存在确立秩序。缔造性头脑正是人工智能所缺乏的，由于算法不能在涉及无限性或自相关的问题上尚有发现，也不能建构新观点，也就不能为存在确立秩序。

人类的秩序与人工智能的秩序

最后可以讨论图灵测试的问题。可以想象，未来的人工智能不难获得人类的所有知识，甚至每件事情或每小我私家的所有信息，因此，人类的知识提问生怕考不倒人工智能，就是说，人工智能虽然不能回覆所有问题，但它的任何回覆不会比人类差。在这种情形下，图灵测试就不足以判断一个工具是否是人工智能了，也许只好反过来以“学识过于渊博”来预测谁是机械人。

对此，图灵测试就需要升级为“哥德尔测试”，我无法给出新测试的尺度，但人工智能应该能够证实其反思能力、自动探索能力或缔造性，也许还应该具有自我体贴的能力，好比说能够拒绝危险自身的无理要求——这不是笑话，从现在的人机对话来看，人类的问题有时候相当无聊或不怀好意，未来也许会有人问人工智能为什么不去自杀，甚至要求人工智能实行自杀。不外，若是人工智能一旦成为ARI，有能力通过哥德尔测试，就成为天下的立法者，生怕要轮到人类排队通过测试了。

我们不知道具有主体性的人工智能会想做什么，但我继续坚持以为，无论人工智能自觉进化出什么样的意识，都不会像人的意识那样危险，而若是人工智能学会了人类的情绪、欲望和价值观，就一定异常危险。这个判断基于这样的事实：

其一，人类并非善良生命，贪心、自恋、好战又残酷，因此，人类的欲望、情绪和价值观绝非好榜样，好比说，“小我私家优先”的小我私家主义价值观一定不是人工智能的好榜样。

其二，人类意识并没有人类自诩的那么优越，人的意识仍然处于杂乱状态，行为到底听从什么，无法确定，这是意识的老难题“排序问题”。首先是理性、情绪、利益、信心何种优先，就难以排序。文学和影戏最喜欢此类“情谊两难”或“理智与情绪”的冲突题材。其次，每个价值体系内部的优先排序也同样难题，自由、同等和公正若何排序，小我私家利益、家庭利益、国家利益若何排序，怙恃之情、子女之情、恋爱、友谊若何排序，都是历久常新的难题。

价值排序之以是异常难题，以至于经常泛起悖论性的两难，是由于基本就不存在价值排序的元规则，而且任何一种排序都有潜在危险，生怕不存在绝对最优的排序。悖论或两难逆境是人类意识一直解决不了的问题，如果让人工智能学会人类的情绪、欲望和价值观，无非是让人工智能的意识陷于同样的杂乱。

其三，任何欲望、情绪和价值观自己就先验地蕴含歧视，若是人工智能习得欲望、情绪和价值观，就即是学会了歧视，而它的歧视工具很可能是人类。若是没有情绪、欲望和竞争，就不能能发生歧视，而无歧视就不存在价值。情绪、欲望或竞争都指向选择的优先排序，而排序即歧视，以是说，若是无歧视，价值就不存在，换句话说，价值的存在论基础就是不同等，若是一切同等，价值就失去了驻足的基础，其中原理就像是，若是每个数目都即是1，就不存在数目差异了（释教早已讲明晰这个逻辑：万事为空，意识见无，才气众生同等）。

哲学宁愿信赖存在某些具有“内在价值”的事物，即仅凭事物自己而无须对照就能证实是好的价值，这是绝对价值的最后希望，但也是一个未决疑问。我们希望有绝对价值，但不能寄以太高期望，纵然有绝对价值，也由于太少而不足以解决人类难题。

总之，若是把人类情绪、欲望和价值观赋予人工智能，那是人类无事生非的宠物情结，也是自找苦吃的冒险。如果未来具有主体性的人工智能成为天下秩序的主持者，若是它的意识只有纯粹智力内容，虽然缺乏“爱心”，反而可能对照平安。

针对他者的攻击性需要有欲望、情绪和价值观作为依据，而无欲则无害，因此，相对平安的人工智能的意识只能限于由“实然”关系（to be）组成的头脑，而一切“应然”（ought to be）看法都不宜输入给人工智能，就是说，相对平安的人工智能只知对错，不知利害。人类自己都不知道什么是绝对的利害，而现实语境中的所谓利害，只不外意味着对于自己的利害，以是，给人工智能输入价值观只不外复制了人类的所有冲突。

人类智慧在于能够为存在确立秩序，但人类智慧的局限性在于没有能力确立万事都好的秩序。历史解释（演化博弈论也有类似发现），人类社会不能能全都是好事，甚至，好事很难多于坏事，理性也没有经常胜过非理性，尤其是小我私家理性的加总难以形成团体理性，以是人类整体的运气总是悬念。

人工智能的生长正是对人类智慧的一个最终测试。我有个悲观主义的预感：在人工智能成为统治者之前，人类就可能死于人工智能缔造的一切好事。坏事总能引起斗争、反抗、改造甚至革命而获得拨乱反正。可是好事却麻木心灵，而对其副作用缺乏修正能力，最终将积重难返而溃逃。这不知是不是最新版本的“存在照样扑灭”（to be or not to be）问题？

本文来自微信民众号：文化纵横（ID：whzh_21bcr），作者：赵汀阳