标注语料库数据及使用说明

《标注语料库数据及使用说明》由会员上传分享，免费在线阅读，更多相关内容在工程资料-天天文库。

1、国家语委现代汉语通用平衡语料库标注语料库数据及使用说明肖航教育部语言文字应用研究所1.国家语委现代汉语通用平衡语料库1.1语料库全库国家语委现代汉语通用平衡语料库全库约为1亿字符，其中1997年以前的语料约7000万字符，均为手工录入印刷版语料；1997之后的语料约为3000万字符，手工录入和取自电子文本各半。语料库的通用性和平衡性通过语料样本的广泛分布和比例控制实现。语料库类别分布如下所示：1.2标注语料库标注语料库为国家语委现代汉语通用平衡语料库全库的子集，约5000万字符。标注是指分词和词类标注，已经经过3次人工校对，准确率大于>98%

2、。语料库全库按照预先设计的选材原则进行平衡抽样，以期达到更好的代表性。标注语料库在样本分布方面近似于全库，不破坏语料选材的平衡原则。标注语料库类别分布如下所示：标注语料库与全库的样本分布比较如下所示：（蓝色曲线为语料库全库；红色曲线为标注语料库）2.国家语委现代汉语通用平衡语料库语料选材与样本分布2.1选材原则依据材料内容，选材大体作如下分类：（下文字数为建库时数据）2.1.1教材大中小学教材单作一类，约2000万字。2.1.2人文与社会科学的语言材料约占全库的60%，共3000万字，包括：·政法（含哲学、政治、宗教、法律等）；·历史（含民族

3、等）·社会（含社会学、心理、语言、教育、文艺理论、新闻学、民俗学等）；·经济；·艺术（含音乐、美术、舞蹈、戏剧等）；·文学（含口语）；·军体；·生活（含衣食住行等方面的普及读物）。2.1.3自然科学（含农业、医学、工程与技术）的语言材料，应涉及其发展的各个领域。拟从大、中、小学教材和科普读物中选取。其中，科普读物约占6%，共300万字。教材字数另计。2.1.4报刊。以1949年以后正式出版的由国家、省、市及各个部委主办的报纸和综合性刊物为主，兼顾1949年以前的报纸和综合性刊物。这部分语料约占26%，共1300万字。其中，报纸900万字，刊物

4、400万字。2.1.5应用文。指各类政府公文、文告、书信、说明书、广告等。这部分语料约占8%，共400万字。2.2选材年限及密度2.2.1教材类选取现在通用的教材为建库的语言材料。中小学课本所选内容涉及各个学科的基本知识，一般为典范的现代汉语作品，具有相当的普及性、代表性。比较通用的具有通论性质的高等师范院校和某些专科院校的基础必修教材，内容涉及各个学科的基础理论、基本术语，可为自然科学语汇的收集、科学术语的规范工作提供依据。2.2.2人文与社会科学类以1919年为上限，选取五四以来的语言材料。对五四以来各个历史时期的语料采取不等密度选用的方

5、式。·1919——1925年。鉴于五四时期的白话文仍留有文言痕迹，拟选用少量的对后世影响较大的代表性作品。被选用的作品在行文上要尽量符合现代汉语的规范。这部分语料拟占人文与社会科学类的5%。·1926——1949年。白话文逐步脱离文言痕迹，现代汉语日趋成熟的时期。这部分语料拟占人文与社会科学类的15%。·1950——1965年。中华人民共和国的成立给社会文化生活带来巨大变化，新词新语大量涌现。这部分语料拟占人文与社会科学类的25%。·1966——1976年。文化大革命时期产生的作品，其中许多随着文革的结束而仅作为历史词语存于现代汉语之中。这部

6、分语料拟占人文与社会科学类的5%。·1977——。新时期的语料代表了现代汉语的最新发展。这部分语料拟占人文与社会科学类的50%。2.2.3自然科学（含农业、医学、工程与技术）类自然科学的发展具有较强的优胜劣汰的性质，故对这部分语料做共时性选取，选材范围包括：·目前比较通用的中、小学各科教材。·目前比较通用的具有通论性质的大学各科基础必修课程的教材。·涉及自然科学各个门类的科普读物。2.3现代汉语语料库选材字数的分布2.3.1人文与社会科学的语言材料占全部5000万字语料的60%，为3000万字。这3000万字在各个学科的分布见表一。2.3.2

7、文学的语言材料占人文与社会科学类的50%，共1500万字。这1500万字在不同体裁、题材的语料的分布见表二。2.3.3长、中、短篇小说的选取比例大致为：长：中：短=1：2：32.4语料的通用性原则和描述性原则2.4.1语料的通用性原则2.4.1.1作为通用型语料库，现代汉语语料库应真实地反映现代汉语在文字、词汇、语法、语义等方面的全貌。2.4.1.2现代汉语语料库在语料的选择上，应当具有区别性特征。·有别于专业性。该语料库的语料要有别于各类专业性的语料，但专业语词与通用语词并无严格的界限，一些专业的用语已经进入通用语言之中，该语料库应尽量涵盖

8、这部分专业语料。·有别于地域性。部分方言语词已随社会交际的发展进入标准书面语，各类语料中方言语词也屡见不鲜，有些方言语词已和普通话语词无明显区别，但该语料库在选材上