语法知识在语言信息处理研究中的作用

《语法知识在语言信息处理研究中的作用》由会员上传分享，免费在线阅读，更多相关内容在应用文档-天天文库。

1、语法知识在语言信息处理研究中的作用 俞士汶 【提要】自然语言理解是计算机科学中一个有重要学术意义和应用价值的研究课题。实现自然语言理解既需要句法、语义、语用等多层面的语言学研究，也需要同思维科学、认知科学等多门学科密切配合。本文只是阐述语法知识与语法研究在语言信息处理中的重要作用，既有理论探讨，也有应用实践。笔者以为计算机处理需要的汉语语法研究以及句法分析算法研究，在目前来说，还应该是汉语信息处理研究的一个重点。1.语言信息处理的研究对象随着社会生活的日益信息化，人们越来越强烈地希望用自然语言同计算机交流信

2、息。如果计算机能够“理解”自然语言，用户就能够通过自然语言使用数据库、专家系统、管理信息系统等各种软件，那将一扫计算机屏幕前沉闷枯燥的气氛，使计算机的环境变得更加引人入胜。因此，“自然语言理解”一直是人工智能中的一个富有挑战性的课题。从计算机科学的角度看，自然语言理解的任务是建立一种计算模型，这种计算模型能够像人那样“理解”自然语言。这就有必要给出关于“理解”的定义。然而，由于自然语言固有的复杂性，人们对自己理解语言的机制也还是不甚了了。说话人可以用不同的话表达同样的意愿，也可以用同一句话表达不同的意思。反

3、过来，对于同一句话，不同的听话人也会有不同的反应。人与人用自然语言(包括口头的与书面的)进行交流之所以没有困难，是因为交流总是在一定的环境中进行的，交流双方的知识背景一定有共同的部分，而且交流的目的大体上也有了预设。现在的计算机智能还远远没有达到能够像人一样了解环境与理解语言的水平，即使在可预见的将来也达不到这样的水平。因此，给“自然语言理解”下一个本质性的定义是极其困难的。不过，由于语言是信息的载体，关于计算机对自然语言的理解一般可以根据实用的信息处理的观点来进行评判。如果计算机系统实现了（1）人机会话，

4、或（2）机器翻译，或（3）自动文摘，或（4）抑扬顿挫带有感情地朗读文章等语言信息处理功能，则认为计算机具备了一定程度的理解自然语言的能力。由于这些系统，除了分析输入给计算机的文章或话语之外，还需要具备生成自然语言的语句或文章的功能，因此，在计算机科学中，除了“自然语言理解”，也常常使用“自然语言处理”或“语言信息处理”这些意义相近的术语。本文则使用“语言信息处理”。观察计算机系统所处理的语言信息，大致上可分为两类。一类是模式信息，如声音和图象，它们是语音识别和文字识别的前期处理对象。另一类是符号信息，如书面

5、语的文本或者作为汉语语音识别结果的音节符号，它们是代码化了的，或者更确切地说，计算机只将每个字符的编码看作处理对象。利用键盘进行人机会话，对存储于计算机系统内的文本进行检索、校对、翻译、做摘要，乃至让计算机“理解”人类的语言，所有这些工作，计算机所处理的对象都是符号信息。通常文献中所说的“语言信息处理”是指其处理对象为符号信息，本文也是在这个意义上使用“语言信息处理”这个术语。自然语言信息处理经历了艰难曲折的发展过程。无论同计算机科学技术本身的发展速度相比较，还是同计算机适合各行各业的应用技术的发展速度相比

6、较，语言信息处理的发展是相当缓慢的，道路是曲折的。尽管如此，由于社会需求的推动，特别是近年来，Internet迅速扩张，大量的信息犹如潮水般涌来，这些信息的主要载体仍然是自然语言，人们渴望发展自然语言信息处理技术以实现文本自动分类、文献检索、信息提取、自动翻译、自动文摘、自动勘校，以加速信息、知识与文化的交流，促进社会、经济、科学的进步，显然这是每一个国家都面临的挑战。语言信息处理技术的发展又有了新的强大的推动力量。人们已经了解到，语言信息处理技术有着广阔的应用领域。已有一些语言信息处理系统形成产品，进入了

7、市场。同时，人们在开发语言信息处理系统时所创造的各种分析技术，所积累的诸如电子词典、语料库等语言数据资源也会被集成到各种信息处理系统中，从而提高信息处理系统的智能水平。语言信息处理产业崛起的前景已经呈现在人们眼前。语言信息处理研究所取得的理论成果还会对哲学与人文科学的发展产生重要的影响，其社会意义可能更在技术、经济意义之上。自然语言理解的研究也在为探索人类智能的本质贡献力量。我国的学者研究语言信息处理自然以汉语作为主要研究对象。人类的各种自然语言有着深层的相似性，汉语信息处理同其他语言有很多的共性，当然汉语

8、信息处理也有自己的特性。同科学技术的其他领域一样，在语言信息处理领域，中国学者也面临竞争和挑战，不过这个领域却为中国学者留下了更为广阔的空间，提供了更多的机会。汉语的“根”在中国。国内学者同汉语最亲近，最易把握汉语信息处理的特殊性。关键的问题是如何处理好既要努力同国际研究接轨又要充分把握汉语信息处理特殊性的关系。在艺术界人们承认最有民族性的艺术也最有国际性。在语言信息处理领域也应作如是观。中国学者只要充分认识到自