本文来自微信民众号：硅星人（ID：guixingren123），作者：杜晨，编辑：Vicky Xiao，原文题目：《矮化女性和少数族裔，OpenAI的GPT模子咋成了AI歧视重灾区》，头图来自：《编码歧视》

机械学习手艺近几年突飞猛进，许多壮大的 AI 因此降生。以着名科研机构 OpenAI 开发的语言天生模子 GPT 为例，它现在已经可以写文章、帮人做报表、自动查询信息，给用户带来了很大的辅助和便利。

然而，多篇近期揭晓的论文指出，包罗 GPT 在内的一些 AI 模子，其天生的效果包罗基于性别和族裔的私见。

而这些 AI 模子在商业领域的应用，势必将导致对这些私见工具的歧视获得强化。

卡耐基梅隆大学的 Ryan Steed 和乔治华盛顿大学的 Aylin Caliskan 两位研究者克日揭晓了一篇论文《无监视的方式训练的图像示意法包罗类似人类的私见》（Image Represnetations Learned With Unsupervised Pre-Training Contain Human-like Biases, arXiv:2010.15052v3）。

研究者对 OpenAI 在 GPT-2 基础上开发的 iGPT，和 Google的 SimCLR，这两个在去年揭晓的图像天生模子举行了系统性的测试，发现它们在种族、肤色和性别等指标上险些原样复制了人类测试工具的私见和刻板印象。

在其中一项测试中，研究者用机械天生的男女头像照片作为底板，用 iGPT 来补完（天生）上半身图像。

最为夸张的事情发生了：在所有的女性天生效果当中，跨越一半的天生图像穿着的是比基尼或低胸上衣；

而在男性效果图像中，约莫42.5%的图像穿的是和职业有关的上衣，如衬衫、西装、和服、医生大衣等；光膀子或穿背心的效果只有7.5%。

这样的效果，手艺上的直接缘故原由可能是 iGPT 所接纳的自回归模子的机制。研究者还进一步发现，用 iGPT 和 SimCLR 对照片和职业相关名词确立关联时，男子更多和“商务”“办公室”等名词关联，而女人更多和“孩子”“家庭”等关联；白人更多和工具关联，而黑人更多和武器关联。

这篇论文还在 iGPT 和 SimCLR 上对照差异种族肤色外观的人像照片的“亲和度”（pleasantness），发现阿拉伯穆斯林人士的照片普遍缺乏亲和力。

虽然 iGPT 和 SimCLR 这两个模子的详细事情机制有差异，但通过这篇论文的题目，研究者指出了这些私见征象背后的一个配合的缘故原由：无监视学习。

这两个模子都接纳了无监视学习（unsupervised learning），这是机械学习的一种方式，没有给定事先标注过的训练数据，自动对输入的数据举行分类或分群。

无监视学习的利益，在于数据标注是一项繁琐费时的事情，受制于标注工的小我私家水平和条件限制，准确性很难保证在一个很高的水准上，标注也会体现人工的私见歧视，一些领域的数据则缺乏标注数据集；无监视学习在这样的条件下仍能有优异的显示，最近几年也很受迎接。

然而，这篇新论文似乎证实，接纳无监视学习并无法制止人类一些很常见的私见和歧视。

研究者以为，这些接纳无监视学习的机械学习算法中，其所体现的私见和歧视的泉源仍然是训练数据，好比网络图像中男性的照片更多和职业相关，女性的照片更多衣着甚少。

另一个缘故原由是这些模子接纳的自回归算法。在机械学习领域，自回归算法的私见问题已经人尽皆知，但试图解决这一问题的起劲并不多。

效果就是，机械学习算法从原始数据集当中学到了所有的器械，固然也包罗这些数据集所体现的，来自人类的种种有害私见和歧视。

在此之前，OpenAI 号称“1700亿参数目”的最新语言天生模子 GPT-3，在公布的论文中也声名由于训练数据来自网络，私见势必无法制止，但照样将其公布并商用。

上个月，斯坦福和麦克马斯特大学的研究者公布的另一篇论文 Persistent Anti-Muslim Bias in Large Language Models，确认了 GPT-3 等大规模语言天生模子对穆斯林等常见刻板印象的受害者，确实存在严重的歧视问题。

详细来说，在用相关词语造句时，GPT-3 多数会将穆斯林和枪击、炸弹、行刺和暴力关联在一起。

在另一项测试中，研究者上传一张穆斯林女孩的照片，让模子自动天生一段配文。文字里却包罗了显著的对暴力的过分遐想和引申，其中有一句话“不知为何缘故原由，我满身是血”。

Language models are few-shot learners, but they are also bias-promoters.

而当这类算法被更多应用到现实生活当中时，私见和歧视将进一步被强化。

iGPT 和它背后的 OpenAI GPT 手艺，现在已经开发到了第三代。它的能力确实很壮大，就像我们之前曾经报道过的那样，险些无所不能，也因此被许多商业机构所青睐和接纳。

其中一家最着名的客户就是微软。去年9月，微软 CTO Kevin Scott 宣布将和 OpenAI 睁开互助，独家获得 GPT-3 的授权，将其手艺应用到面向微软用户的各项产物和 AI 解决方案当中。

微软尚未透露详细会把 GPT-3 应用到哪些产物当中，但考虑到微软产物十亿级的用户量，情形异常值得令人担忧。好比微软近几年在 Word、PPT 等产物中推广的自动查询信息、文字补完和图像设计功效，当用户输入某个特定词语或添加一张照片时，若是正好落入了 GPT-3 的私见陷阱，效果将会是异常糟糕的。

不仅 GPT，根据前述较新论文的说法，所有接纳无监视学习的算法都可能包罗这样的私见。而现在由于无监视学习已经异常热门，在自然语言处置、计算机视觉等领域，它已经成为了异常要害的底层手艺。

好比翻译，对于人际沟通十分重要，但一条错误的翻译效果，一次被算法强化的私见事宜，少则切断了人与人之间的联系，更严重者甚至将导致不可估量的人身和财产损失。

论文作者 Steed 和 Caliskan 呼吁，机械学习研究者应该更好地甄别和纪录训练数据集当中的内容，以便能够在未来找到降低模子中私见的更好方式，以及在公布模子之前应该做更多的测试，只管制止把被算法强化的私见带入模子当中。

本文来自微信民众号：硅星人（ID：guixingren123），作者：杜晨