Nature评论白宫发布的最新报告：人工智能研究中的一个盲点

xman

对于人工智能未来影响的担忧正在分散研究人员部署目前系统的注意力。──Kate Crawford，Ryan Calo

本周，美国白宫发表了一篇有关人工智能的报告──这份报告是今年五月、七月分别于西雅图，匹兹堡，华盛顿和纽约举行的四次研讨会的成果。

在这些形成报告的活动中，来自世界各地不同行业的思想家汇聚到一起，讨论人工智能将怎样改变我们的生活；许多发布会展示了使用机器学习和其他人工智能技术解决各种生活中复杂问题的前景。这些技术包括了识别皮肤的变化预警早期癌症的风险、减少数据中心的能源消耗等。

这些研讨会着重提出了关于目前人工智能研究的盲点。目前自动系统已经被部署在大多数重要的社会机构中，从医院到法庭。但还未出现一个人们普遍认同的方式来评估这些应用对于人类的持续影响。

近年来，人工智能的技术有了长足的进步。在这样的发展中，各学科研究人员和设计者需要建立一种所谓人工智能的社会制度分析。他们需要评价技术对于社会，文化和政治环境的影响。

社会制度的分析可以探究例如：AiCure──一种提醒病人按时用药，同时传输数据给医生的应用──是如何改变医患关系的。这样的研究同时也可以探索使用历史记录预测犯罪发生的方式，是否会导致边缘化社区警力使用过度。或者，它可以研究为什么高级投资者有权使用人力和算法来做出投资决策，而低收入的贷款者还在纳闷为什么他们的贷款申请被不断拒绝。

奇点问题

「人们担心计算机会变得过于聪明，最终控制这个世界，但是真正的问题是它们仍然不够聪明，却已经控制了整个世界。」这是计算机科学家 Pedro Domingos 在他 2015 年的著作「The Master Algorithm」中的总结语。尽管很多研究者拒绝接受「技术奇点」的概念，认为这一领域还有待发展，但他们仍然支持将未经受检验的人工智能系统直接引入社会框架。

由于人工智能研究者的热情，一些智能系统已经被使用在了医生的指导诊断中。它们被应用在律师事务所，向委托人估算打赢官司的成功率，告诉金融机构应该接受哪些借贷申请，同时也告诉雇主应该雇佣谁。

分析师期待人工智能系统不断进入这些领域。目前市场分析者将人工智能应用估值为 10 亿美元级别，IBM 的首席执行官 Ginni Rometty 曾说她预计人工智能系统在未来十年中存在 20000 亿美元的机会。当然，未来难以预测，部分原因是没有形成关于「什么是人工智能」的共识。

在未来，人工智能在进行预测和做出决定方面将不会弱于人工操作的系统。但目前，工程师们还在优化人工智能，使得它们能够发现和消除人类中存在的偏见。研究表明在目前一些环境中，人工智能的缺点正在不成比例地增加已受种族，性别，社会经济背景影响的弱势人群的压力。

在 2013 年的一份报告中，谷歌的研究者发现通常被用于黑人的名字相比「白人名字」有更高（25%）的几率被标记以投放犯罪记录搜索的广告。在 ProPublica 在 2016 年 5 月的另一项有关种族的研究中，他们发现用于判断再次犯罪危险的专用算法错误地把黑人的危险性估计为白人的两倍。

三个工具

如何能够避免这样的情况？目前，有三种主要模型可以回答有关人工智能对于社会和伦理影响的问题：服从，「设计值」和思维实验。所有三种模型都很有价值，它们不能单独使用，而且仅仅这三个工具也不够。

部署和服从。通常，公司在运作过程中会以遵守行业标准和法律义务为准则，这可以减少政府，媒体和其他监督机构的调查。这种方式在短期内有效，以谷歌为例，他们在 2015 年系统将一对非裔夫妇贴上黑猩猩标签的事件后改进了图像识别算法。公司被建议在人工智能系统中添加「红色按钮」，用以在系统失控后有能力作出反应。

同样的，Facebook 在用户关于普利策将照片被系统删除的抗议后添加了豁免规则，让儿童裸体的照片不再被屏蔽，那是一张越战中一名女孩在凝固汽油弹袭击中哭喊逃亡的著名照片。在上个月，很多人工智能的领导者，包括微软，亚马逊和 IBM，形成了合作关系来促进公众理解，开发共同标准。所以，「部署和服从」方式可以临时做出改变，如果行业准则缺乏独立性，没有得到充分地讨论，它可能会被认为是不适当的。新的人工智能合作体系邀请了伦理学家和公民社会组织加入。但目前仍有顾虑存在，科技公司仍可以完全自由地公开测试他们的人工智能系统，在此之前并不用进行中期甚至早期的持续性研究。

设计中的价值观。在包括 Batya Friedman，Helen Nissenbaum 等早期设计者提出技术的伦理之后，研究者和公司以此为基础，不断发展自己的敏感值设计或进行「负责任地创新」来保证可能的利益相关者和他们的利益。目标人群或其他的技术被用来建立人们关于个人隐私，环境等议题的广泛观点。关于潜在用户的价值观被代入了技术产品的设计中，不论是手机应用还是自动驾驶汽车。在这种情况下，人工智能系统的开发者需要更加遵循这些准则。

然而，这些工具总是在建立系统的假设上工作。机器根本不能告诉设计者，政策制定者和整个社会系统会被如何建立，也不会告诉人们它所遵循的准则过于老旧或不可靠，不能被医院，法庭这样的重要基础设施采用。


思想实验。过去几年中，假想的情形已经主导了围绕人工智能的社会影响的公众议题。

人类将会创造出将最终统治我们或毁灭我们的高智能系统的可能性已经得到了非常广泛的讨论。另外，来自 1967 年的一个相关的思维实验——电车难题（The Trolley Problem）——已经焕发出了新的生机。这种情形引发了关于责任和罪责的问题。在电车难题中，一个人要么让奔驰中的电车碾过有五个人正在上面施工的轨道，要么需要调整方向让电车驶向另一个只会给一个人带来危险的轨道。许多评论者将这个假想的情形应用到了自动驾驶汽车上——他们认为自动驾驶汽车将不得不做出事关道德伦理的自动决策。

然而和机器人末日一样，自动驾驶汽车权衡「杀人决策」的可能性只提供了一个关于道德推理的狭隘框架。电车难题对于我们目前所面临的更广泛的社会问题仅具有一点点指导性——我们面临的问题是：对自动驾驶汽车而非公共交通进行大规模投资的价值；在自动驾驶汽车上路运营之前需要达到怎样的安全程度（以及应该使用什么工具来决定这个程度）；以及自动化载具对交通拥堵、环境和就业的潜在影响。

社会系统分析

我们认为需要第四种方法，一个实际的、普遍可用的社会系统分析（social-systems analysis），彻底搞清人工智能系统对所有方面的所有可能的影响。在每一阶段它都伴随着社会影响——从概念，到设计，到部署和管理。

第一步，跨学科、政府部门和产业的研究人员需要开始调查不同社区接触信息的方式有何不同，财富和基础服务塑造人训练人工智能系统所需的数据。

比如，在芝加哥和伊利诺伊，算法生成的热点图正被用于识别与枪击事件最相关的人。上个月发布的一项研究表明这样的热点图效率低下：它们增加了应该被警察视为目标的人的可能性，但并未减少犯罪。

而社会系统方法会将热点图基于的社会和政治历史数据考虑在内。这可能需要需要咨询社区成员，并根据其反馈来权衡关于周边警务的警务数据，无论这些反馈是正面的还是负面的。这也意味着将监督社区和法律机构所发现的数据计算在内。社会系统分析也会询问系统给出的风险与奖励是否被均衡的应用，所以在此案例中，也就是警方是否使用类似的技术识别哪个警官更可能有不当行为，比如说暴力。

有另外一项例子：2015 年的一项研究展示了机器学习技术被用于预测在大部分情景下哪些病人会发展成肺炎并发症。但该研究犯了一项严重错误：即使有的病人是高风险的哮喘病人，它也建议医生将这种病人放回家。因为医院会自动地将哮喘病人放到重症护理，在系统被训练的数据中，这些病人很少有「进一步治疗」的记录。有了社会系统分析，就能查看底层的医院指南以及其他的保险政策等构成病人记录的因素。

类似地，社会系统分析会问人们是否以及何时会受到人工智能系统的影响，这样的分析也需要提出关于这些系统的工作方式的问题。金融分析师一直被限制他们利用机器学习的方式，因为客户期望他们剖析、解释所做的决策。而如今，已经使用人工智能决策的人无法做出这样的解释。

社会系统的分析需要用到哲学、法律学、社会学、人类学和科学技术研究等许多学科。它必然也会需要对社会、政治和文化价值与技术变革和科学研究的相互影响进行研究。只有通过提出关于人工智能的影响的更为宽泛的问题，我们才能得到对人工智能的更为全面和综合的理解——这比单独通过计算机科学或犯罪学进行分析好多了。

也存在一些希望。像下个月将在纽约举办的「Fairness, Accountability, and Transparency in Machine Learning meeting」这样的研讨会就是一个很好的例子。但是资助者（政府、基金会和企业）应该在实现我们描述的人工智能上进行更多的投资。

人工智能既会带来技术上的变革，也会带来文化上的变革。这类似于过去发生过的技术拐点——如印刷机和铁路的出现。自动化系统正在改变工作场所、街道和学校。我们需要确保这些改变是有益的，然后才能将它们进一步地构建到我们日常生活的基础设施中。