ictclas 中科院分词系统 代码 注释 中文分词 词性标注

《ictclas 中科院分词系统 代码 注释 中文分词 词性标注》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、ICTCLAS中科院分词系统代码注释中文分词词性标注（转）中科院分词系统概述这几天看完了中科院分词程序的代码，现在来做一个概述，并对一些关键的数据结构作出解释〇、总体流程考虑输入的一句话，sSentence="张华平欢迎您"总体流程:一、分词"张/华/平/欢迎/您"二、posTagging"张/q华/j平/j欢迎/v您/r"三、NE识别:人名识别,音译名识别,地名识别"张/q华/j平/j欢迎/v您/r""张华平/nr"四、重新分词:"张华平/欢迎/您"五、重新posTagging:"张华平/nr欢迎

2、/v您/r" 技术细节一、分词分词程序首先在其头末添加开始符和结束符sSentence="始##始张华平欢迎您末##末"然后是分词,基本思想就是分词的得到的词的联合概率最大假设"张华平欢迎您"分为"w_1/w_2/.../w_k"则w_1/w_2/.../w_k=argmax_{w_1'/w_2'/.../w_k'}P(w_1',w_2',...,w_k')=argmax_{w_1'/w_2'/.../w_k'}P(w_1')P(w_2')...P(w_k')细节:首先给原句按字划分,所有汉字一个一

3、段,连续的字母,数字一段,比如"始##始张华平2006欢迎您asdf末##末"被划为"始##始/张/华/平/2006/欢/迎/您/asdf/末##末"接着找出这个句子中所有可能出现的词,比如"始##始张华平欢迎您末##末",出现的词有"始##始","张","华","平","欢","迎","您","末##末","欢迎"并查找这些词所有可能的词性和这些词出现的频率。将这些词保存在一个结构中,具体实现如下:m_segGraph中有一个(PARRAY_CHAIN)m_pHead，是一个链(PARRAY_CH

4、AIN)p->row//记录该词的头位置(PARRAY_CHAIN)p->col//记录该词的末位置(PARRAY_CHAIN)p->value//记录该词的-log(出现的概率),出现的频率指所有该词的所有词性下出现的概率的总和。(PARRAY_CHAIN)p->nPos//记录该词的词性，比如人名标记为'nr'，则对应的nPos='n'*256+'r',如果该词有很多词性,则nPos=0(PARRAY_CHAIN)p->sWord//记录该词(PARRAY_CHAIN)p->nWordLen//

5、记录该词的长度举个例子："0始##始1张2华3平4欢5迎6您7末##末8"对于"张"来说,row=1col=2value=-log[("张"出现的频率+1)/(MAX_FREQUENCE)]nPos=0//"张"有5种词性sWord="张"nWordLen=2保存的顺序是按col升序row升序的次序排列m_segGraph.m_pHead "始##始"   "张"   "华"   "平"   "欢"   "欢迎"   "迎"   "您"   "末##末"   m_segGraph.m_nRow=7m

6、_segGraph.m_nCol=8然后是生成一幅给予各种组合情况的图,并按照出现的概率大小保存概率最大的前m_nValueKind个结果。细节:初始化,(CNShortPath)sp.m_apCost=m_segGraph;(CNShortPath)sp.m_nVertex=m_segGraph.m_nCol+1(CNShortPath)sp.m_pParent=CQueue[m_segGraph.m_nCol][m_nValueKind](CNShortPath)sp.m_pWeight=ELE

7、MENT_TYPE[m_segGraph.m_nCol][m_nValueKind]//m_pWeight[0][0]表示1处的weightsp.ShortPath()函数中,for(nCurNode=1;nCurNodeGetElement(-1,nCurNode,0,&pEdgeList);//取出col=nCurNode的第一个PARRAY_CHAIN的

8、value,比如nCurNode=6,则pEdgeList指向"欢迎",eWeight="pEdgeList->value while(pEdgeList&&pEdgeList->col==nCurNode)//对每一个col=nCurNode的pEdgeList {   for(i=0;irow,0,eWeight+m_pWeight[pEdgeList->row-1][