2020年10月25日，“科普中国-我是科学家”第28期“AI：人工智能，或者爱”演讲现场，合肥工业大学盘算机与信息学院教授、情绪盘算研究所所长孙晓带来演讲：《你可能不领会ta的心意，但人工智能知道》。本文来自微信民众号：我是科学家iScientist（ID：IamaScientist），作者：孙晓，编辑：麦芽杨、凝音，原文题目：《我们用AI检测了蒙娜丽莎的微笑，发现62%情绪是中性，另有12%喜悦和19%悲痛 | 孙晓》，头图来自：视觉中国

孙晓演讲视频：

以下为孙晓演讲实录：

2020.10.25 合肥

人人好，我叫孙晓，来自合肥工业大学。我是一名盘算机科学家，我的事情是教盘算机识别人心。

人心异常庞大，且我不是心理学家，那我怎么能去教盘算机去识别人心？

我想先请你来看一幅经典画作。

蒙娜丽莎的脸色异常玄妙。差别靠山和差别知识领域的人都对她的脸色举行过一些解读：有人说她看起来异常温柔；有人说她面带严肃；也有人说她这是吃过巧克力后露出的微笑；甚至有人说她这是刚有身后的微笑……人人都想实验发现蒙娜丽莎的心里到底在想什么。

我们也通过面部脸色识别程序对蒙娜丽莎的脸色做了一个简朴识别，效果异常有趣，我们发现，蒙娜丽莎的脸色有62%的可能性是中性；悲痛和喜悦不是主要成分，划分只占19%和12%，但同时存在她的脸色中。

这里的盘算机面部脸色识别程序，现实就是我们在教盘算机去简朴地识别人的脸色。怎么做？我们给盘算机上百万张人脸脸色数据，让它去学习关于脸色的一些纪律，它学习事后就可以自动地去识别人的面部脸色。

那盘算机到底能做到一个什么水平？

                                  

Data from ICIP2020

做个小考试：我这里有三个动图，其中，有一个动图里的人做了一个异常细小的惊讶脸色。你是否能看出是哪一位做出了这个脸色？

我来宣布一下准确谜底。

努力

惊讶

消极

确实，中心这位他露出了一个异常短暂的惊讶脸色，其他两位则划分泛起了短暂的努力和消极。若是你能把三个脸色所有识别准确，我很真挚地约请你来我们的实验室，来帮我们提升盘算机的情绪识别能力。

这其实是我们加入天下脸色识别大赛时的数据。我们用人工智能算法加入了这个竞赛，很幸运地获得了第一名。

看起来，人工智能算法完全可以准确识别出那些瞬间即逝的玄妙脸色。那么，我们能否说它可以识别心里？

这让我想起十几年前在日本留学时介入的一些事情。

那时，我们团队关注到了一些国家和地区的自杀征象，这些自杀征象的背后有一些异常深层的心理问题。于是我们的团队就最先去做数据网络事情，获取了一些自杀者生前的数据，包罗他们的心理康健数据。我们发现，他们的心理没有什么显著问题，但他们又简直在自己的博客或微博里纪录了异常昏暗的心路历程。

于是我们团队又最先大量网络一些博客和微博的公然数据，然后请求心理学家的辅助，对这些博客和微博内容字里行间蕴含的情绪举行异常仔细的标注。

这就是我们已经标注后的样子。人人可能看不太清，这也说明标注得异常仔细。从篇章段落到字里行间，甚至是每一个字内里所蕴含的心理状态，都举行了标注。我们将这些教给盘算机，于是盘算机也学会了从文字中去探讨人的心理状态。

这项事情现在我们还在连续举行中。

这是两个令人悲痛的微博，两名博主已经逝去，他们的微博更新时间也划分停留在了2012年和2013年。

我们用算法对微博内容做了一些简朴剖析，发现在半年时间内，他们的微博心理颠簸泛起了一些异常显著的特征，好比，发微博的总量已经异常低，尤其是一些正向的情绪显著降低，而且负向情绪也逐渐增多。这些特征都体现出他们可能有异常大的心理压力，心里也异常痛苦。这些都可以通过字里行间体现出来。

我们用微博监测心理颠簸，也发现了一些有意思的事。这是我们实验室的两位同砚，一位男生，一位女生，他们疫情在家的半年时间里微博中体现的情绪颠簸情形。

先看男生的微博，大部分时间都很喜悦，很少泛起负面情绪。基本上能脑补出来，这个男生天天笑呵呵地生涯，这或许也可以从数据上支持我们俗话说的“男子的快乐很简朴”。再看女生，种种情绪的颠簸错综庞大，这或许也侧面体现了“女生的心思很细腻”。

以是，我们可以通过面部脸色和社交网络内容，似乎可以去对人的心理举行一些简朴探测了。那么，我们能不能在一些更庞大的情形下，对人的心理举行更庞大的评估？

在我看来，人的心理就像一棵树。

人的性格特质与生俱来，难以改变，就像树根；人的心理的内部状态，好比我现在很激动，有时刻还显得挺压制，或者有时我对某件事物显示出了一种恋慕，这些相对长时间的状态，就像树干；而心理的外在显示，好比，我现在笑了，然后我又冷静下来了，也包罗我的语音、语调、呼吸频率甚至我的走路姿态，这些都是我内部心理状态的体现，就像树叶；固然了，另有外部的刺激，心理的外部刺激就像风雨，风吹雨打，你的树叶无时无刻不在摇动；若是风大了，树干也会摇动甚至会折断，可能会发生严重的心理问题。

除了社交网络内容和面部脸色，心理的内部状态也可以体现在眼神、行走姿态和一些心理信号，好比心率、呼吸。

若是能综合这些信息，那我们就可以更准确地发现人的内部心理状态，或者说，我们希望通过心理的外在显示去挖掘人的心理内部状态，去发现人的性格特质，通过树叶的摆动去发现树干的状态甚至发现树根它长什么样子。

这也是我现在所从事的研究事情，叫“普适心理盘算”。它是情绪盘算的一个分支，属于人工智能和心理学的一个交织，人工智能借用心理学知识来探测人的心理状态。

这个视频就是我们实验室的研究成果之一。视频里是我们实验室的一位快乐男生，也是适才提到的那位“快乐很简朴”的男生。我们综合了面部脸色、语音语调、语言的内容，另有他眼睛的视角、视野以及他身体整个上半身的姿态，甚至包罗他的心率，呼吸等等，判断出了他现在的心理状态。视频里可以看到，我交给他这个义务以后，他显示得异常兴奋，数据中也能看出来他“兴奋”这一栏的值异常高；视频快竣事的时刻，他听说我不能带他来现场观摩，还显示出了些许失望。

既然可以通过一些心理的外在显示去探测人的内部心理，那我们能不能再深一步去探测他的性格特质？

来看这两张图片。

我放置实验室里的一位男生和一位女生划分去考察这个蒙娜丽莎的画像，同时用算法去纪录他们的眼神。越亮的地方，示意他们眼神落在这个地方的时间越久。可能人人能对照容易猜到，右面图像的考察者是“喜欢看脸”的男生，而左边的考察者是喜欢看穿着、看种种细节的女生。

性别差异包罗随之而来的性格特质差异，会让人在处置外部信息的时刻发生显著的差异，这些差异也会有一些纪律。那反过来，我能不能通过这些纪律，倒推出你的性格特质，举行一些剖析呢？

我们也用这个算法去剖析了一些网络视频。这个视频可能人人看过，我们将剖析效果包罗他的人格特质，跟一些司法领域专家的结论举行了比对，也得到了一个异常匹配的结论。好比，他的情绪控制能力差，容易做出某些极端的行为。

也就是说，在同样的观察条件下，盘算机算法可以做到和人基本一致。那，若是它学到更多的专业知识，是不是可以比人做得更好？

通过上面这个视频截图里的新闻事宜，我们也会发现，在婚恋中，“选对人”照样异常重要的。那我们的人工智能算法以及性格特质的评估算法，能不能辅助我们选择一位合适的朋友？

我们也做了一个异常有趣的研究。

我们找来许多对伉俪或处在热恋中的情侣，让他们录了一些自述视频，让他们对自己的关系状态做了一些自我评价，问他们，你以为你们的这个关系怎么样？然后我们将他们双方的视频举行剖析，剖析了每小我私家的性格特质并与他们的自评举行比对。

最后人工智能算法得出一个结论：在自评中分数对照高、以为关系异常协调的那些情侣，往往两小我私家的性格特质分数更靠近，类似我们俗话说的“钢铁直男配直女”。为什么？由于性格特质更靠近，他们对外部事物的处置和决议也会更靠近，异常容易杀青统一意见，对照少发生冲突。固然，我小我私家对这点也有一些小小的挂念：两小我私家异常愉快地杀青统一了，然则可能一起对，也可能是一起错。

职场上也同样适用。好比，有个团体要从三位候选人中挑选一位去做区域的负责人。这三位员工都异常优异，也都有过独当一面的履历，在选拔面试、问卷观察、民意观察甚至在专业人才评测机构的观察里，他们的分数险些都一样。这就有点困难了，到底该选择谁？

我们派出了AI智能算法，从性格特质层面临他们做了一个更客观的评测，选用了他们的面试视频举行了剖析，效果发现，在“开放性”和“尽职性”两个方面，第一位候选人得分显著高于后面两位，也就是说，他是那种敢打敢拼、开疆辟土的人，于是AI算法倾向于推荐第一位候选人。这也说明我们的算法，可以再配合问卷调研等方式，可以做出更客观的效果，辅助人们做出决议。

这张图片里的当事人，是某单元里要害岗位的一位员工。这个岗位对手艺要求异常高，这位员工的手艺自己异常过硬。但他的同事形容，感受他性格有点怪怪的，会无缘无故发脾气，而且很容易跟人发生冲突，跟下属相处得也不是太好。单元领导以为，他可能是事情压力大，换一换环境或者让他去做一下访谈就没什么问题了，但做访谈又完全问不出器械，于是又让他去做问卷，效果显示他甚至比正常人还正常。

这就难了，于是我们又请出了AI智能算法，对他在医院诊疗过程中的行为数据举行了剖析。通过他的心理颠簸数据，另有性格特质数据，剖析发现，他的自控能力对照差，分数对照低，而且他确实会存在一些间歇性的难以控制自己行为的情形。然后多位专家综合我们的数据剖析，最后从医学角度确诊他为精神分裂。这个故事也说明，我们已经可以在一些精神疾病简直诊和筛选方面，为专家和医疗机构提供异常重要的数据支持，甚至辅助他们去做出最终的决议。

“情绪盘算”是二十几年前提出的观点，它的初衷现实上是辅助那些自闭症儿童，让他们去识别自己的情绪并能控制自己的情绪，也包罗对他人情绪的认知。

我适才分享的，无论是面部脸色的情绪盘算，照样文本的情绪盘算，或者更庞大的心理探测甚至包罗人格的探测，都是希望行使人工智能和情绪盘算手艺，从“心”为人提供服务。到现在，情绪盘算现实上已经逐步在落地了，在一些领域中，好比机器人或自动驾驶领域，都市或多或少应用到情绪盘算。我们也希望通过我们的手艺手段，让情绪盘算在更多领域里为我们提供服务。

固然，手艺为我们提供便利的同时，也会晤临质疑。和其他的人工智能手艺一样，人人可能对情绪盘算手艺也抱有一些挂念，好比可能会侵略我们的隐私。我以为，我们完全可以怀抱一种开放的态度，来配合建设和完善，让手艺更好地服务于人类。从“心”最先，未来可期。

谢谢人人。

本文来自微信民众号：我是科学家iScientist（ID：IamaScientist），作者：孙晓