自然语言处理中主题模型的发展

《自然语言处理中主题模型的发展》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、第３４卷第８期计算机学报Ｖｏｌ．３４Ｎｏ．８２０１１年８月ＣＨＩＮＥＳＥＪＯＵＲＮＡＬＯＦＣＯＭＰＵＴＥＲＳＡｕｇ．２０１１自然语言处理中主题模型的发展徐戈王厚峰（北京大学计算语言学研究所，北京大学计算语言学教育部重点实验室北京１００８７１）摘要主题模型在自然语言处理领域受到了越来越多的关注．在该领域中，主题可以看成是词项的概率分布．主题模型通过词项在文档级的共现信息抽取出语义相关的主题集合，并能够将词项空间中的文档变换到主题空间，得到文档在低维空间中的表达．作者从主题模型的起源隐性语义索引出发，对概率隐性语义索引以及ＬＤＡ等在主题模型发展中的重要阶段性工作进行

2、了介绍和分析，着重描述这些工作之间的关联性．ＬＤＡ作为一个概率生成模型，很容易被扩展成其它形式的概率模型．作者对由ＬＤＡ派生出的各种模型作了粗略分类，并选择了各类的代表性模型简单介绍．主题模型中最重要的两组参数分别是各主题下的词项概率分布和各文档的主题概率分布，作者对期望最大化算法在主题模型参数估计中的使用进行了分析，这有助于更深刻理解主题模型发展中各项工作的联系．关键词自然语言处理；主题模型；隐性语义索引；ＬＤＡ；期望最大化算法；Ｇｉｂｂｓ采样中图法分类号ＴＰ３９１犇犗犐号：１０．３７２４／ＳＰ．Ｊ．１０１６．２０１１．０１４２３犜犺犲犇犲狏犲犾狅狆犿犲狀狋狅

3、犳犜狅狆犻犮犕狅犱犲犾狊犻狀犖犪狋狌狉犪犾犔犪狀犵狌犪犵犲犘狉狅犮犲狊狊犻狀犵ＸＵＧｅＷＡＮＧＨｏｕＦｅｎｇ（犓犲狔犔犪犫狅狉犪狋狅狉狔狅犳犆狅犿狆狌狋犪狋犻狅狀犪犾犔犻狀犵狌犻狊狋犻犮狊狅犳犕犻狀犻狊狋狉狔狅犳犈犱狌犮犪狋犻狅狀（犘犲犽犻狀犵犝狀犻狏犲狉狊犻狋狔），犐狀狊狋犻狋狌狋犲狅犳犆狅犿狆狌狋犪狋犻狅狀犪犾犔犻狀犵狌犻狊狋犻犮狊，犘犲犽犻狀犵犝狀犻狏犲狉狊犻狋狔，犅犲犻犼犻狀犵１００８７１）犃犫狊狋狉犪犮狋Ｔｏｐｉｃｍｏｄｅｌｓａｒｅｒｅｃｅｉｖｉｎｇｅｘｔｅｎｓｉｖｅａｔｔｅｎｔｉｏｎｉｎｎａｔｕｒａｌｌａｎｇｕａｇｅｐｒｏｃｅｓｓｉｎｇ．Ｉｎｔｈｉ

4、ｓｆｉｅｌｄ，ａｔｏｐｉｃｉｓｒｅｇａｒｄｅｄａｓｐｒｏｂａｂｉｌｉｓｔｉｃｄｉｓｔｒｉｂｕｔｉｏｎｏｆｔｅｒｍｓ．Ｔｏｐｉｃｍｏｄｅｌｓｅｘｔｒａｃｔｓｅｍａｎｔｉｃｔｏｐｉｃｓｕｓｉｎｇｃｏｏｃｃｕｒｒｅｎｃｅｏｆｔｅｒｍｓｉｎｄｏｃｕｍｅｎｔｌｅｖｅｌ，ａｎｄａｒｅｕｓｅｄｔｏｔｒａｎｓｆｏｒｍｄｏｃｕｍｅｎｔｓｌｏｃａｔｉｎｇｉｎｔｅｒｍｓｐａｃｅｔｏｔｈｅｏｎｅｓｉｎｔｏｐｉｃｓｐａｃｅ，ｏｂｔａｉｎｉｎｇｔｈｅｌｏｗｄｉｍｅｎｓｉｏｎａｌｒｅｐｒｅｓｅｎｔａｔｉｏｎｏｆｄｏｃｕｍｅｎｔｓ．ＴｈｉｓｐａｐｅｒｓｔａｒｔｓｆｒｏｍＬａｔｅｎｔＳｅｍ

5、ａｎｔｉｃＩｎｄｅｘｉｎｇ（ＬＳＩ），ｔｈｅｏｒｉｇｉｎｏｆｔｏｐｉｃｍｏｄｅｌｓ，ａｎｄｄｅｓｃｒｉｂｅｓｐＬＳＩａｎｄＬＤＡ，ｔｈｅｆｕｎｄａｍｅｎｔａｌｗｏｒｋｓｉｎｔｈｅｄｅｖｅｌｏｐｍｅｎｔｏｆｔｏｐｉｃｍｏｄｅｌｓ，ｗｉｔｈｆｏｃｕｓｏｎｔｈｅｒｅｌａｔｉｏｎｓｈｉｐａｍｏｎｇｔｈｅｓｅｗｏｒｋｓ．Ａｓａｇｅｎｅｒａｔｉｖｅｍｏｄｅｌ，ＬＤＡｃａｎｂｅｅａｓｉｌｙｅｘｔｅｎｄｅｄｔｏｏｔｈｅｒｍｏｄｅｌｓ．ＴｈｉｓｐａｐｅｒｍａｋｅｓａｓｉｍｐｌｅｃａｔｅｇｏｒｉｚａｔｉｏｎｏｎｔｏｐｉｃｍｏｄｅｌｓｄｅｒｉｖｅｄｆｒｏｍＬＤＡ，ａｎｄｒｅｐｒｅｓｅ

6、ｎｔａｔｉｖｅｍｏｄｅｌｓｏｆｅａｃｈｃａｔｅｇｏｒｙａｒｅｉｎｔｒｏｄｕｃｅｄ．Ｆｕｒｔｈｅｒｍｏｒｅ，ＥＭａｌｇｏｒｉｔｈｍｓｉｎｐａｒａｍｅｔｅｒｅｓｔｉｍａｔｉｏｎｏｆｔｏｐｉｃｍｏｄｅｌｓａｒｅａｎａｌｙｚｅｄ，ｗｈｉｃｈｈｅｌｐｔｏｕｎｄｅｒｓｔａｎｄｔｈｅｒｅｌａｔｉｏｎｓｈｉｐｏｆｗｏｒｋｓｄｕｒｉｎｇｔｈｅｄｅｖｅｌｏｐｍｅｎｔｏｆｔｏｐｉｃｍｏｄｅｌｓ．犓犲狔狑狅狉犱狊ｎａｔｕｒａｌｌａｎｇｕａｇｅｐｒｏｃｅｓｓｉｎｇ；ｔｏｐｉｃｍｏｄｅｌ；ｌａｔｅｎｔｓｅｍａｎｔｉｃｉｎｄｅｘｉｎｇ；ｌａｔｅｎｔｄｉｒｉｃｈｌｅｔａｌｌｏｃａｔｉｏｎ；ｅ

7、ｘｐｅｃｔａｔｉｏｎｍａｘｉｍｉｚａｔｉｏｎａｌｇｏｒｉｔｈｍ；Ｇｉｂｂｓｓａｍｐｌｉｎｇ收稿日期：２００９０５２６；最终修改稿收到日期：２０１１０５２５．本课题得到国家自然科学基金（９１０２４００９，６０９７３０５３，９０９２００１１）资助．徐戈，男，１９７８年生，博士研究生，主要研究方向为自然语言处理、情感分析．Ｅｍａｉｌ：ｘｕｇｅ＠ｐｋｕ．ｅｄｕ．ｃｎ．王厚峰，男，１９６５年生，教授，博士生导师，主要研究领域为自然语言处理、情感分析、指代消解、信息抽取等．１４２４计算机学报２０１１年１引言２主题模型的主要内容在自然语言处理中，主题（ｔｏｐｉｃ）①

8、可以看成是一个主题模型通