(额外补充)词嵌入原理及应用简介

《(额外补充)词嵌入原理及应用简介》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、WordEmbedding词嵌入原理及应用简介七月算法公开课李韶华自我介绍读博前在CNKI、搜狗、当当网等公司工作，从事信息检索和数据挖掘开发博士课题：贝叶斯生成式模型，表示学习（词嵌入、主题嵌入等）接触自然语言处理时间较短，希望同行批评指正词嵌入原理及应用简介2/23七月算法在线公开课julyedu.com词嵌入是NLP的流行方法词嵌入原理及应用简介3/23七月算法在线公开课julyedu.com讲座提纲直观上认识词嵌入词嵌入的优点模型的发展历史；word2vecWord2vec和矩阵分解的等价性；GloVe算法影响性能的因

2、素；怎么调参“多词义”词嵌入应用：CNN做句子分类词嵌入原理及应用简介4/23七月算法在线公开课julyedu.com词嵌入初印象训练自淘宝商品标题数据集数据量小(500多个标题)32维向量泰芝郎、欧比森、优鲨都是男式衬衣品牌相似词映射到相似方向Cosine相似度衡量方向词嵌入原理及应用简介5/23七月算法在线公开课julyedu.com词嵌入做类比题v(“国王”)–v(“王后”)≈v(“男”)–v(“女”)v(“英国”)+v(“首都”)≈v(“伦敦”)反映出语义空间中的线性关系质疑：然而并没有什么x用？两个句子:A

3、含“英国”,“首都”，不含“伦敦”；B含“伦敦”所有词的词向量的和表示句子两个句子仍会比较相似词嵌入原理及应用简介6/23七月算法在线公开课julyedu.com相似词映射到相似方向：为什么基本假设：“相似”词的邻居词分布类似倒推：两个词邻居词分布类似→两个词语义相近猫宠物主人喂食蹭喵狗宠物主人喂食咬汪v(“猫”)≈v(“狗”)词嵌入原理及应用简介7/23七月算法在线公开课julyedu.com词嵌入的优点传统one-hot编码(“天气”:(1,0,0…,0)，“气候”:(0,1,0,…0))维度高（几千–几万维稀疏向量），数

4、据稀疏难以计算词之间相似度难以做模糊匹配词嵌入维度低（100–500维）无监督学习，不需去掉停用词(stopwords)天然有聚类后的效果连续向量，方便机器学习模型处理罕见词：“风姿绰约”≈“漂亮”词嵌入原理及应用简介8/23七月算法在线公开课julyedu.com最早的词嵌入模型Bengio2003,ANeuralProbabilisticLanguageModel输入:上下文词的向量Softmax变换为概率输出:下个词的概率乘矩阵U目标:最大化预测概率Tanh变换两次矩阵乘，两次非线性变换乘矩阵H参数多，容易过拟

5、合优化缓慢，不适合大语料词嵌入原理及应用简介9/23七月算法在线公开课julyedu.comWord2vec简介Mikolov2013,DistributedRepresentationsofWordsandPhrasesandtheirCompositionality使用最广泛的词嵌入方法速度快，效果好，容易扩展原因：简单（Lessismore）词嵌入原理及应用简介10/23七月算法在线公开课七月算法在线公开课julyedu.comjulyedu.comWord2vec模型回归连结函数:没有耗时的矩阵乘，只留一个softmax

6、变换???~exp???=exp(?′?)?????????,???,???和??兼容:概率大?,??,?不兼容:概率小有些维表示语法，有些维表示语义如??为形容词，??为名词词嵌入原理及应用简介11/23七月算法在线公开课julyedu.comWord2vec优化两套词向量，使用时只保留一套优化方法:随机梯度递降(SGD)每次扫描到一个词，算一下梯度，更新……收敛很快。大语料：1、2个pass，小语料：~10个passNegativesampling:近似分母（归一化系数）的梯度，提高效率Hierarchicalsoft

7、max：提高效率，效果略差词嵌入原理及应用简介12/23七月算法在线公开课julyedu.comWord2vec带来的启发?exp?′?????:对数双线性(log-bilinear)方法??????=exp??????/??两边取对数:?log?????+log??=??????像什么问题？词嵌入原理及应用简介13/23七月算法在线公开课julyedu.comWord2vec和矩阵分解的等价性?log?????+log??=??????右边两个低维矩阵的乘积拟合左边矩阵Levy2014,NeuralWordEmbeddinga

8、sImplicitMatrixFactorizationWord2vec理论上等价于分解PointwiseMutualInformation(PMI)矩阵?(??