深度学习在自然语言处理的应用v

《深度学习在自然语言处理的应用v》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、1深度学习在自然语言处理的应用张俊林畅捷通股份有限公司2014.10.32大纲深度学习简介基础问题：语言表示问题WordEmbedding不同粒度语言单元的表示字符/单字/单词/短语/句子/文档值得重点关注的模型RAE/TensorNetwork/卷积网络NLP的应用语言模型中文分词知识挖掘情感计算机器翻译ParaphraseIR探讨与思考3深度学习（表示学习）4深度学习（表示学习）5Layer-WisePre-Training6DenoisingAutoencoder7自然语言交互的时代8大纲

2、深度学习简介基础问题：语言表示问题WordEmbedding不同粒度语言单元的表示字符/单字/单词/短语/句子/文档值得重点关注的模型RAE/TensorNetwork/卷积网络NLP的应用语言模型中文分词知识挖掘情感计算机器翻译ParaphraseIR探讨与思考9One-Hot表示OneHot表示在传统NLP中很常用Similarity(dog,cat)=010WordEmbedding词向量：单词的分布向量表示（DistributionalRepresentation）词向量表征了单词使用上

3、下文中的句法语义特征One-Hot的字面匹配到DR的语义匹配Similarity(dog,cat)>Similarity(dog,the)Similarity(“thedogsmiles.”,“onecatcries.”）11无监督训练获得单词的WE-word2vec单词：苹果12无监督训练获得单词的WE-word2vec单词：长颈鹿13无监督训练获得单词的WE-word2vec单字：张14无监督训练获得单词的WE-word2vec单字：雯15无监督训练获得单词的WE-word2vec单字：葱1

4、6Word2vecCBOW：17word2vecSkip-Gram:18word2vecCBOW+HierarchicalSoftmax19word2vecCBOW+NegativeSampling最大化：st：正例负例20不同粒度语言单元的表示-字符/单字字符上下文向量英文：捕获构词法中文：捕获字搭配英文拓展：字符N-Gram中文拓展：单字N-Gram？21不同粒度语言单元的表示-短语/句子/文档方法一：单词词向量取和（Summrization）很多情况都做此种简化处理过于简单,但是仔细思考有

5、一定道理方法二：单词词向量加权求和Huang’sWork权重：类似于IDF方法三：RNN22不同粒度语言单元的表示-短语/句子/文档方法四：Matrix-VectorNN23不同粒度语言单元的表示-短语/句子/文档方法五：卷积神经网络24大纲深度学习简介基础问题：语言表示问题WordEmbedding不同粒度语言单元的表示字符/单字/单词/短语/句子/文档值得重点关注的模型RAE/TensorNetwork/卷积网络NLP的应用语言模型中文分词知识挖掘情感计算机器翻译ParaphraseIR探讨

6、与思考25RAE(RecursiveAutoEncoders)推导短语及句子级别的WordEmbedding表示26NeuralTensorNetworks表达多个实体之间的关系/两个单词之间某种操作27NeuralTensorNetworks28卷积网络（ConvolutionalDeepNeuralNetwork）全局特征选择与融合/不定长转换为定长表示29大纲深度学习简介基础问题：语言表示问题WordEmbedding不同粒度语言单元的表示字符/单字/单词/短语/句子/文档值得重点关注的模

7、型RAE/TensorNetwork/卷积网络NLP的应用语言模型中文分词知识挖掘情感计算机器翻译ParaphraseIR探讨与思考30语言模型31语言模型Bilinear-LM32语言模型RNNLM33深度学习用于中文分词-思路134深度学习用于中文分词-思路235深度学习用于中文分词两者思路基本相同基于字的WordEmbedding+三层神经网络+BEMS标记序列分类思路2引入全局的Viterbi解码（分类后处理）效果：和主流分词算法效果接近CRF/Maxent+二元特征类似思路同样可以套用

8、到POS/NER/Parser等场景这是利用WordEmbedding解决NLP问题最直观的NLP应用思路考虑探索下非标准三层神经网络结构的复杂模型36深度学习用于知识挖掘两大类问题现有知识库的新知识推理CYC,WordNet,FreeNet……目前的文献做法大思路基本一致已知实体用WordEmbedding表示实体关系用TensorNetwork建模后向传播+SGD训练从自由文本中挖掘结构化知识37现有知识库的新知识推理38现有知识库的新知识推理最小化目标函数：正例：负例：39从自由文本中挖掘