深度学习实战篇-基于RNN的中文分词探索

xman

　　近年来，深度学习在人工智能的多个领域取得了显著成绩。微软使用的152层深度神经网络在ImageNet的比赛上斩获多项第一，同时在图像识别中超过了人类的识别水平。百度在中文语音识别上取得了97%的准确率，已经超过了人类的识别能力。
　　随着深度学习在越来越多的领域中取得了突破性进展，自然语言处理这一人工智能的重要领域吸引了大批的研究者的注意力。最近谷歌发布了基于深度学习的机器翻译(GNMT)，和基于短语的机器翻译相比，错误率降低了55%-85%以上，从而又引发了深度学习在自然语言处理上的热潮。
　　自然语言处理是人工智能和语言学的交叉学科，在搜索引擎，问答系统，机器翻译等人工智能领域发挥着重要作用。分词，词性标注，命名实体识别作为自然语言处理的基础领域，同样吸引着大批研究者的注意力，本篇就结合我们近期的一些探索从中文分词角度探索深度学习在自然语言处理中的应用。
　　中文分词是将自然语言文本划分成词语序列，目前主流方法为序列标注，即用BMES这个四个标签去标注句子中的每一个字(B是词首，M是词中，E是词尾，S是单字词)。
　　对于 { 京东 搜索 与 大数据 平台 数据挖掘 算法部 }
　　其标注为{ BE BE S BME BE BMME BME }
　　使用Keras实现了基于RNN的中文分词，接下来就分别介绍一下Keras和中文分词实战。
　　1. Keras介绍
　　Keras  是一个高度模块化的深度学习框架，使用python编写，封装了大量的函数接口，可支持CPU和GPU训练。Keras提供了一系列模块，这样我们在实验模型的时候只需要调用这些模块就可以完成模型搭建，不用自己在去实现各层网络。
　　主要模块有Optimizers(优化函数模块)，常用的有SGD(随机梯度下降)、  Adam;Objectives(目标函数模块)，常用的有均方误差，交差熵;Activations(激活函数模块)，sigmoid用来做二分类、relu可解决梯度消失问题、softmax常用来做多分类;Layers(网络层模块)，提供了CNN(卷积层)、RNN(LSTM、GRU)、embeddings;Initializations(初始化模块)，主要用于模型参数的初始化，常用的有均匀分布初始化，高斯分布初始化。
　　使用Keras进行模型试验，可分为四个步骤(数据准备，模型构建， 模型训练， 模型测试)，本文也将基于这四个步骤探索基于RNN的中文分词。
　　2. 中文分词实战
　　数据准备
　　训练数据使用的是bakeoff2005中的北京大学的标注语料，train作为训练样本，test作为测试样本。
　　统计训练样本中出现的字符并生成字典，同时将训练样本中字符全部映射成对应的字典索引(为了处理未登录词，将出现次数低于2次的字符映射为未登录词)。在序列标注分词中，一个字的标签受到上下文的影响，因而取该字的前后3个字作为特征。
　　模型构建

　　本文模型由一层Embedding层，2层LSTM，一个Dense输出层构成，目标函数为交叉熵，优化函数选择adam。为了验证方法的有效性，本文未采用外部语料预训练词向量，而是在训练数据上训练词向量。
　　Embedding层完成从词典索引到词向量的映射过程，即输入一个词典索引，输出该索引对应的词向量，第一层LSTM层输入为词向量序列，输出为隐层输出序列，第二层LSTM层输入为前一层输出序列，输出为隐层个数，Dense输出层输入为第二层LSTM输出，输出为类别数。
　　在这里embeddingDim设为128，RNN序列长度设为7，LSTM隐层个数设为100，outputDims设为4，batch_size设为128。
　　模型训练
　　分别在CPU和GPU(使用单卡)上进行模型训练，使用单卡GPU的速度为CPU的4.7倍，未来还会测试单机多卡和多机多卡的性能。
　　CPU

　　GPU

　　模型测试
　　使用北京大学test进行测试，并使用bakeoff2005的测试脚本进行测试，结果如下所示：

　　3.总结和展望
　　深度学习的优点是可以自动发现特征，大大减少了特征工程的工作量。目前深度学习已经在语音和图像等领域取得重大进展，自然语言与语音、图像不同，是抽象符号，因而如何将深度学习应用于自然语言处理需要进行更多的研究和探索：针对不同任务的不同字词表示、将先验知识和深度学习相结合、Attention机制的运用。同时相对于标注数据，未标注数据量更多，如何运用未标注数据也是目前自然语言处理探索的热点和难点。