【编者按】在解决视觉、听觉问题方面表现出色的深度学习系统中,分类器和特征模块都是自动学习的,神经网络可解释性问题就成了一个灰色区域,思考这个问题对神经网络效率的保证是有必要的。在这篇博客文章中,机器学习PhD、软件架构师Adnan Masood针对这个问题进行了多方面的反思。
深度学习的成就五年前,如果你向计算机中输入一张猫或者狗的图片,它分辨不出这张图片是猫还是狗。多亏了卷积神经网络,计算机不仅能够分辨猫和狗之间的区别,还能够识别不同品种的狗。
2010年最好的系统在第一次选择时,错误率高达47%,在前五次选择中,错误率有25%。一个深度神经网络(Krizhevsky等)在第一次选择中可以得到低于40%的错误率,在前五次选择中则低于20%。
深度学习的可解释性问题那么,经过这番大张旗鼓地介绍,深度神经网络在什么方面可能出问题?
在深度学习系统中,分类器和特征模块都是自动学习的,神经网络就有了一个灰色区域:可解释性问题(explain-ability problem)。
你可能没注意到,我努力使这篇
科普文章不那么危言耸听,不过我将从下面这几个方面讲起。
解释性和神经网络固有的透明性缺少相关性(研究界因为“它能正确工作”而对相关性感到自满)。我对黑盒智能的想法可能会引出更深层次的问题,这些问题是由Gates、Hawking和Musk提出来的。我可能是第一个指出,这可能是导致世界末日技术缺点的延伸或一般化,并且我们可能可以解密这些信息以驱除人们的恐惧。但是,
我的基本原则是,如果技术是不可解释的,并且加上如今增长的机器学习技术,那些意想不到的结果是不容忽视的。
强人工智能和弱人工智能的组合,加大了对解释性的关注。无可否认,设法了解神经网络在那些层的函数中具体在做什么是一大挑战。一个乐观的场景是,一个网络训练良好,并且多次给我们带来高质量的结果。但是,试图理解底层是如何做到的还一直困扰着我们。更让人担忧的是,
如果网络失败了,那么很难理解是到底是哪里出错了。我们真的可以摆脱那些
对人工智能危险感到恐惧而持怀疑态度的人吗?正如比尔盖茨
所说的那样(实际上是反驳
埃里克·霍维茨的立场)
我很关心超级智能的发展。最开始机器可以为我们完成许多任务,而且它们也不是超级智能。如果我们管理得当,那么可以得到良好效果。几十年后,智能强大到足以引起人们的关注。我同意Elon Musk等人在这方面的看法,而且我也不明白为什么有的人对此并不关注。
像神经网络这种具有非确定性本质的技术,会给理解分类器置信度带来更大的关注吗?神经网络在何时收敛并不清楚,但是对于SVM而言,验证何时收敛就显得微不足道了。将没有文档的函数描述成黑盒在本质上可能就是一个有缺陷的想法。如果我们将这种想法作为生物的思维过程,有了信号和相应的训练行为,我们可以得到基于训练数据的期望结果,这些期望结果将作为一个观察器。然而,在非识别模型中,由神经网络提供的近似值对所有意图来说都是令人费解的。
我认为对人工智能和机器学习有着深刻理解的人会担心“天网”的出现,关于这点,吴恩达纠正道:
担心杀人机器的出现就像是担心火星人口过多。
这些担忧都与“但是它能工作啊”的想法分不开,即如果适合我那我就坐下(If-It-fits-I-sits ,下面猫的图片形象解释了这句话)。
与自驾车、出租车、快递员以及就业相关的社会学挑战都是是真实的,但是这些都只是监管问题。
了解神经网络解释性的关键在于技术的核心部分以及我们对核心部分的理解。斯坦福大学的
Katie Malone在“
神经网络中的线性分离”的讲话中说的很好。
虽然这听起来好像我们希望在没有人工干预的自动机器不允许进行某些任务的情况下发挥指挥作用,就好像Hawking、Musk和Wozniak想要禁
止自动武器和敦促AI专家设计安全的系统,我们对黑盒方法的依赖可能只是一厢情愿。正如斯蒂芬·霍金所说:
我们已经有的最原始的人工智能是非常有用的。但我认为全人工智能的发展可能会毁灭全人类。一旦人类发明这种人工智能,它将会以前所未有的速度重新设计自己来提升性能。而人类,受到缓慢进化的限制,无法与之抗衡而将被取代。
我们可以这么说,因为我们无法完全理解一项新技术,因此我会产生(变化带来的)恐惧,但是随着逐步研究,我们将会慢慢适应。对于非黑盒模型或可解释模型,如回归(封闭式逼近)和决策树/信念网络(确定性和概率信念图形表示),我们有着良好的理解。如今我们知道,神经网络中微小的改变都会对结果带来巨大的变化,正如
“Intriguing” properties of neural networks中所说。在这篇
论文中,作者证明了微小的改变可以引发更大的问题。
我们发现,深度神经网络学习输入输出映射关系是相当不连续的。我们可以通过加入一些几乎不可观察的微扰让网络错误分类一张图像,这是通过最大化网络预测误差发现的。我们发现,神经网络与各个语义单位和间断点有着相对立的属性。这种对抗性的负面性质似乎与网络达到高泛化性能的能力相矛盾。确实如此,如果一个网络的泛化能力优越,它为什么还会出现这种对抗的负面性质,而且在常规例子中还难以分辨?对此问题可能的解释是,这种对抗性的负面性质出现的概率极低。但是,我们不知道这种对抗性的负面性质多久会出现。
我们要清楚的是,在讨论人工神经网络的黑盒特性时,我们讨论的不是单感知器只能用于学习
线性可分模式的问题(Minsky等人,69年)。我们都知道,XOR方法不能在单层网络上使用,但是在多层感知器(MLP)上并非如此。卷积神经网络(CNN)就是最好的证明;受生物学的灵感而产生的多层感知器有着明确的假设,即带有图像的输入数据可以得到确定的属性,这些属性可以嵌入到感知器架构中。
问题的关键是针对一种快速适应的技术,它有着黑盒的性质,有更大的计算负担,固有的非确定性,以及过度拟合并倾向于比其他技术表现得“更好”。以非怀疑论者的态度来复述
Jitendra Malik的话,
没有理由认为多层随机森林或SVM不能达到相同的结果。在AI冬天的时候我们遗弃了人工神经网络,我们在其他技术方面是否又在重蹈覆辙呢?
最近Elon Musk发表推文说:
Bostrom的超级智能值得一读。我们必须对AI十分谨慎。它的潜在危害比核武器更可怕。
有些时候,那些成果的确代表了进步。特别是在深度学习方面,这在很大程度上是80年代神经网络的代名词,而如今,主要成就是卷积神经网络,但是这种构想在前期技术中早已出现。而且其中一个问题是人们不断推断某些包含神经科学的知识在背后支撑着这些技术,而人们对大脑如何处理信息、学习、决策和组织大量数据的理解,奠定了深度学习基础。这种想法明显是错误的。
我们以后再讨论这个话题。
关于译者: 刘翔宇,中通软开发工程师,关注机器学习、神经网络、模式识别。