解析谷歌大脑的深度学习及TensorFlow的前世今生

xman

　　在深度学习的历史上，神经网络的方法在1980-1990年之后开始明显地发挥效力，在数据量、计算力的推动下，用深度学习神经网络的方法使得我们在研究和开发上获得了比其它方法更高的准确率（在图像、语音等领域）。在2011年之前，深度学习的方法能达到的图像误识率都是26%，而在今天这个数字超过了人类的误识率（5%），达到了3%。在Google今天的产品线中深度学习的方法使用非常广泛，包括Android平台、各类App中、药物研究、Gmail等等。
　　Google Brain团队目前有什么样的成果：
　　在研究方面，有27个paper在各种顶级会议中发表；
　　推动Google搜索、广告、相册、翻译、Gmail等产品线的整合优化；
　　发布TensorFlow等在社区中高度流行的开源工具。
　　谈到TensorFlow的开发，我们最初的出发点是需要创建一个合适的深度学习工具。
　　这个工具需要满足下面的几个条件：
　　1. 适合于机器学习思考和算法的表达；
　　2. 运行效率高，能够快速地试验想法；
　　3. 兼容性好，实验能在不同平台上运行；
　　4. 可在不同环境下分享和重现研究的问题；
　　5. 适合产品化：能很快从研究阶段过渡到产品应用阶段；
　　总结一下TF的目标就是建立一个针对机器学习方面的思考快速实验的通用系统，并且确保这个系统既是针对研究也是对产品化最好的系统。最后，这个系统不仅是Google的，而且开源的，属于平台上每一个人。
　　在2015年11月9日，我们发布了TensorFlow的最初版本，而目前我们已经取得了这样的成果：
　　1. TF当前有500+的代码贡献者；
　　2. 从发布至今，一共有12000次+的代码提交；
　　3. 100万以上的代码库下载；
　　4. 大量的学校和商业机构将他们的研究和开发工作搭建在TF之上（伯克利、斯坦福、OpenAI、Snapchat）。
　　我们在软硬件平台的支持上也不断更新。数据显示，我们已经是GitHub上最受到欢迎的深度学习工具。
　　深度学习在Google产生了哪些重要的影响？
　　在语音识别上，我们推动词语识别的错误率降低了至少30%；
　　深度卷积神经网络使得直接对未标记的照片进行搜索成为可能；
　　我们用深度学习的方法，在街景照片中抓取识别文字；
　　同样用深度学习的方法，在卫星俯瞰图中检索太阳能的屋顶；
　　在医疗影像中，使用视网膜影像进行糖尿病的诊断；
　　机器人们现在能通过机器学习的方法进行环境和语义理解；
　　RankBrian甚至被用于Google搜索中的排名优化；
　　在Inbox中，我们通过语义分析自动化地推荐可能的回复结果，当前Inbox中10%的回复都是通过推荐生成发送的；
　　在机器学习的其它方面：
　　在过去很的的模型都是从零开始训练获得的，这是非常低效的。我们专门针对深度学习设计的硬件的TPU，将在未来20个月后进入大规模量产的阶段。
　　在我们的设想里，未来的搜索请求可能是这样的：请帮我查找所有关于深度学习和机器人的文献，并用德文总结出来。
　　我认为未来3 - 5年内，通过语音识别、语义理解的发展，机器人/自动驾驶汽车将会变得产业内非常重要的领域。
　　PS：附PPT+文字版本。

　　在深度学习的历史上，神经网络的方法在1980-1990年之后开始明显地发挥效力，在数据量、计算力的推动下，用深度学习神经网络的方法使得我们在研究和开发上获得了比其它方法更高的准确率（在图像、语音等领域）。

　　在2011年之前，深度学习的方法能达到的图像误识率都是26%，而在今天这个数字超过了人类的误识率（5%），达到了3%。

　　Google Brain团队目前有什么样的成果：

　　在研究方面，有27个paper在各种顶级会议中发表；
　　推动Google搜索、广告、相册、翻译、Gmail等产品线的整合优化；
　　发布TensorFlow等在社区中高度流行的开源工具。谈到TensorFlow的开发，我们最初的出发点是需要创建一个合适的深度学习工具。

　　这个工具需要满足下面的几个条件：
　　适合于机器学习思考和算法的表达；
　　运行效率高，能够快速地试验想法；
　　兼容性好，实验能在不同平台上运行；
　　可在不同环境下分享和重现研究的问题；
　　适合产品化：能很快从研究阶段过渡到产品应用阶段；

　　总结一下TF的目标就是建立一个针对机器学习方面的思考快速实验的通用系统，并且确保这个系统既是针对研究也是对产品化最好的系统。最后，这个系统不仅是Google的，而且开源的，属于平台上每一个人。

　　在2015年11月9日，我们发布了TensorFlow的最初版本，而目前我们已经取得了这样的成果：
　　TF当前有500+的代码贡献者；
　　从发布至今，一共有12000次+的代码提交；
　　100万以上的代码库下载；
　　大量的学校和商业机构将他们的研究和开发工作搭建在TF之上（伯克利、斯坦福、OpenAI、Snapchat）。

　　我们在软硬件平台的支持上也不断更新。数据显示，我们已经是GitHub上最受到欢迎的深度学习工具。

　　深度学习在Google产生了哪些重要的影响？

　　在语音识别上，我们推动词语识别的错误率降低了至少30%；

　　深度卷积神经网络使得直接对未标记的照片进行搜索成为可能；

　　我们用深度学习的方法，在街景照片中抓取识别文字；

　　同样用深度学习的方法，在卫星俯瞰图中检索太阳能的屋顶；

　　在医疗影像中，使用视网膜影像进行糖尿病的诊断；

　　机器人们现在能通过机器学习的方法进行环境和语义理解；RankBrian甚至被用于Google搜索中的排名优化；

　　在Inbox中，我们通过语义分析自动化地推荐可能的回复结果，当前Inbox中10%的回复都是通过推荐生成发送的；

　　在机器学习的其它方面：
　　在过去很的的模型都是从零开始训练获得的，这是非常低效的。我们希望通过xxx的方法来解决这个问题；我们的TPU将在，20个月之后进入大规模量产的阶段。
　　在我们的设想里，未来的搜索请求可能是这样的：请帮我查找所有关于深度学习和机器人的文献，并用德文总结出来。
　　我认为未来3 - 5年内，通过语音识别、语义理解的发展，机器人/自动驾驶汽车将会变得产业内非常重要的领域。