大数据时代的自然语言处理

《大数据时代的自然语言处理》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、动态第 9 卷第 11 期2013 年 11 月大数据时代的自然语言处理——评《统计自然语言处理（第2版）》赵东岩关键词：自然语言处理统计方法专著北京大学网络搜索、机器翻译、智能问答、信息安全等一言处理的专著并不多见，国内已有的几本专著（包系列与自然语言处理相关的应用需求，在大数据时代括译著），除了2008年清华大学出版社出版的该书更为人们关注。云计算、大数据、社会计算、数据挖第一版和2010年中国科学技术大学出版的冯志伟掘等一批新术语也如雨后春笋般涌现，成为众多会议教授的《自然语言处理的形式模型》以外，大多数和论坛讨论的话题。然而，当人们拂去表层繁花，拨是

2、10年以前撰写的。而《自然语言处理的形式模型》开缭乱云雾，静下心来思考：大数据时代对自然语言对统计方法的介绍较为简单。随着大数据时代的到处理技术的根本挑战是什么？近十年来统计自然语言来，统计方法的发展日新月异，很多最新方法和新处理研究有哪些实质性的进展？自然语言理解技术在模型是这两本专著中未能包含的。国外这一领域的网络信息处理、多语言机器翻译和人机交互中有哪些主要专著是美国麻省理工学院出版社于1999年出版实际应用？对于这些问题，每一位专家都会从不同的（2000年校正）的克里斯托夫·曼宁斯(ChristopherD.视角给出答案。中国科学院自动化研究所研究员

3、宗成Manning)和辛里奇·舒尔策(HinrichSchütze)撰写庆撰写的《统计自然语言处理（第2版）》，对自然语的FoundationsofStatisticalNaturalLanguageProcess-言处理的核心技术及其最新进展进行了全面、系统的ing（2005年由苑春法等翻译成中文），以及2000阐述。基于多年的深入研究与总结提炼、经过缜密思年普伦蒂斯·霍尔出版社(PrenticeHall)出版的丹尼考和严谨论证，他给出了对上述问题较为深刻与独到尔·朱拉斯凯(DanielJurafsky)和詹姆斯·马丁(James的回答，为当前自然语言处理

4、技术的深入研究和应用H.Martin)撰写的SpeechandLanguageProcessing:开发提供了翔实的资料。AnIntroductiontoNaturalLanguageProcessing,Com-《统计自然语言处理（第2版）》是清华大学出putationalLinguistics,andSpeechRecognition（2005版社2013年8月出版的。全书共16章，87万字。年由冯志伟和孙乐翻译成中文。2009年该书出版了综观全书，该书具有如下特点：(1)内容新颖，第2版）。一方面，这些外文专著出版的时间仍然非常全面。该书16章内容几乎

5、涵盖了自然语言处较早，而另一方面，它们对很多中文信息处理的最理领域的每一个侧面，从词法到语义，从理论到应新进展都没有涉及，更不涉及我国的少数民族语言用，大多都是近年来该领域最新的研究成果和先进信息处理技术，如维语人名识别、藏文分词等。《统技术。如此丰富的内容和新颖的技术，是在已有的计自然语言处理（第2版）》恰好弥补了这些缺失。自然语言处理专著中所没有的。国内外有关自然语(2)在写作方式上，作者首先从分析问题入手，介绍66第 9 卷第11 期2013 年 11 月国内外相关研究，给出各种方法的实验结果和对比的专用术语都给出了规范的英文注释，对于读者阅评价，其中

6、不乏作者自己团队的研究成果和体会。读和查找相关的英文文献或撰写英文论文提供了极这种思路恰好体现了从事科学研究的基本路线，对大的便利。全书1000余篇中英文参考文献全面勾于引导刚刚进入该领域的青年学生逐步培养正确的勒出了统计自然语言处理领域的技术沿革和发展概分析问题、解决问题的思维方式尤其重要。(3)该书况，书中对每一篇参考文献都给出了明确的标识，不仅详细地介绍了统计自然语言处理的最新理论方既便于读者了解相关工作之间的关系，又便于读者法，而且对很多数据和开源工具都给出了详细的网进一步阅读相关论著。另外，全书绝大多数章节都址和来源，其中包括作者团队所开发的工具，

7、既有有同行学者的参与，或提供素材，或校对部分内容，利于初学者对比实验，又为开发者提供了新的捷径。或与读者研讨相关概念，充分体现出作者一丝不苟、《统计自然语言处理（第2版）》的第1章为全书精益求精的严谨治学态度，令人钦佩！的绪论，对自然语言处理的基本概念、面临的问题、《统计自然语言处理（第2版）》的出版是大数基本方法和研究现状给予了清楚的阐述。第2章为数据时代喜添的新宠儿。当人们将大数据时代的网络学和信息论等相关的预备知识。第3章为形式语言与内容处理、多语言机器翻译和信息抽取等一系列技自动机，对树、图等基本的数据结构和乔姆斯基四类术落到实处、具体实施的时候，基

8、于统计理论的自文法及其各类自动机和它们在自然语言处理