欢迎来到天天文库
浏览记录
ID:27505160
大小:365.00 KB
页数:8页
时间:2018-12-04
《Python自然语言处理实战:两篇文章相似度清晰透明.doc》由会员上传分享,免费在线阅读,更多相关内容在应用文档-天天文库。
1、Python自然语言处理实战:两篇文章相似度清晰透明 此书专注于中文的自然语言处理,以Python及其相关框架为工具,以实战为导向,详细讲解了自然语言处理的各种核心技术、方法论和经典算法。三位作者在人工智能、大数据和算法领域有丰富的积累和经验,是阿里巴巴、前明略数据和七牛云的资深专家。同时,本书也得到了阿里巴巴达摩院高级算法专家、七牛云AI实验室Leader等专家的高度评价和鼎力推荐。 本节将利用训练好的词向量和段落向量对两篇关于天津全运会的新闻进行向量化,并计算两篇新闻的相似度。如下是两
2、篇新闻: 新闻1:6日,第十三届全运会女子篮球成年组决赛在天津财经大学体育馆打响,中国篮协主席姚明到场观战。姚明在接受媒体采访时表示,天津全运会是全社会的体育盛会,他称赞了赛事保障与服务工作,并表示中国篮协将在未来的工作中挖掘天津篮球文化的价值。 本届天津全运会增加了包括攀岩、马拉松、象棋在内的19个大项的群众体育比赛项目,普通群众成为赛场“主角”。对此,姚明表示:“引入群众性的体育项目,真正做到了全运会的‘全’字,这不仅仅是专业运动员的盛会,更是全社会的体育盛会。”谈及本届全运会
3、赛事筹备与保障服务时,姚明说:“全运会得到了天津市委市政府和各区、各学校的大力帮助,篮球项目比赛(顺利举办)要感谢天津方方面面的支持。”此外,姚明还对全运村内的保障服务和志愿者工作表示赞赏。“很多熟悉的教练员和运动员都表示服务保障很不错,志愿者态度很积极。”“毋庸置疑,天津是中国篮球发源地,1895年,在篮球运动诞生4年的时候就漂洋过海从天津上岸,这是中国篮球具有历史意义的地方。”姚明在谈及天津篮球文化和未来发展时说,“天津保留着迄今为止世界上最古老的室内篮球场,这都是非常重要的篮球文化遗产,希望
4、能在未来的工作中挖掘这些历史遗产的价值。”姚明说:“天津是座美丽的城市,这次来天津能够感到浓厚的体育文化元素,希望运动员和教练员在比赛赛得好的同时,也能领略到天津的城市文化。” 新闻2:从开幕式前入住全运村到奔波于全运三座篮球场馆之间,中国篮协主席姚明抵津已有10多天了。昨天在天津财大篮球馆,姚明还饶有兴致地谈了对本次天津全运会的看法,能够让群众融入进来,是他觉得最有亮点的地方。“全运会是一项很有传统的运动会,这次来到天津,得到市委、市政府的大力支持,天津各个区学校对于篮球比赛从人员到场馆给予很
5、大帮助,中国篮协作为竞委会的一员,受到总局的委派承办篮球的比赛,真的非常感谢天津对我们方方面面的支持。”尽管之前多次到访津城,不过这次因为全运,还是给了姚明很多不一样的感受,“天津是座非常美丽的城市,我之前来这里很多次了,这次来感受到了非常浓烈的体育文化元素,我们希望运动员、教练员在这座美丽的城市比赛赛得好,同时能够领略到天津的城市文化。”本届全运的群众项目的比赛,引起了姚明极大的兴趣,“这次天津全运会最突出的特点是引入了群众性体育和群众性的项目,同时设立了群众性的奖牌和荣誉,是真的做到了一个‘全
6、’字,这也符合体育融入社会的一个大趋势,全运会不该只是专业运动员的盛会,也是所有社会人的一个盛会。”对于这段时间在天津的生活,姚明也是赞不绝口,“我们作为篮协的官员都住在技术官员村,这段时间的生活工作都在里面,听到了很多熟悉的运动员、教练员对本次全运会的夸赞,生活工作非常方便,保障非常齐全,我们为天津感到非常高兴。很多场馆都很新,很多志愿者都很年轻,大家都积极奔波在各自的岗位上,这一点我们的运动员和教练员应该是最有发言权的。”作为中国最出色的篮球运动员,姚明也谈了天津作为中国篮球故乡的感受,“毋庸
7、置疑,天津是中国篮球的发源地,是篮球传入中国的第一故乡,在篮球1891年诞生之后4年就漂洋过海来到中国,在天津上岸,这是对中国篮球具有历史意义的地方,并且我们也知道这里保留了迄今为止世界上最古老的室内篮球馆,这些都是我们非常重要的文化遗产。我希望我们在未来的工作中,可以让这样越来越多的历史故事被重新挖掘出来。 1.word2vec计算网页相似度 word2vec计算网页相似度的基本方法是:抽取网页新闻中的关键词,接着将关键词向量化,然后将得到的各个词向量相加,最后得到的一个词向量总和代表网页新
8、闻的向量化表示,利用这个总的向量计算网页相似度。包括的步骤是:1)关键词提取,2)关键词向量化,3)相似度计算。 首先是关键词提取,这里我们采用jiebag工具包中tfidf关键词提取方法,如下图7-14所示,函数KeyWord_Extract的功能就是提取句子的关键词,并将关键词保存在txt文件中。 defWord_cut(sentence,file_name):words=pseg.cut(sentence)forwordinwords:withopen(file_name
此文档下载收益归作者所有