混合数据管理引擎

《混合数据管理引擎》由会员上传分享，免费在线阅读，更多相关内容在工程资料-天天文库。

1、混合数据管理引擎毛楚祥/郑益2012-10-2519:49:46来源:《情报资料工作》2011年01期【英文标题】ManagementEngineofMixedData【作者简介】毛楚祥，男，1947年生，浙江天宇信息技术有限公司教授级高级T程师。浙江天字信息技术有限公司杭州310006郑益，男，1971年生，浙江天宇信息技术有限公司高级工程师。浙江天字信息技术有限公司杭州310006【内容提要】文章在分析计算机数据管理技术和应用现状的基础上，提出应该研发混合数据管理引擎，满足对结构化、半结构化、非结构化混合类型数据统一管理的要求，并对混合数据管理引

2、擎的系统架构及实现关键性技术作了探讨。Byanalyzingcurrenttechnologiesandapplicationsofcomputerdatamanagement,thispapersuggestsasolutiontoachievetheintegrationofdatabaseandinformationretrievaltechnologiesonkernellevelofthesystems.Anditalsodiscussesthesystemarchitcctureandkeyissuesoftheimplementatio

3、nofthemixed-typedatamanagementsystem.【关键词】数据管理引擎/混合型数据管理技术/信息检索技术datamanagementengine/mixed-typedatamanagement/infonualionretrieval20世纪90年代,互联网的出现和发展极大地改变了人与人Z间交流的方式,互联网逐渐成为人们发表言论、获得信息、进行交流的主要形式，成为人们生活、学习、工作离不开的环境。互联网技术的迅猛发展，极大的推进并影响政府、企事业单位对日积月累并不断涌现大量的内容丰富、种类各异的数据应用需求。n前，信息系统

4、的应用，其主要冃的不再是“交易”，而是“交流”和“沟通”，海量信息资源检索成为计算机处理的主要操作。现今计算机处理的对象从单一•数据到以口然语言文档为代表的多样非结构化数据，例如图书、文献、新闻、网页、技术资料、电子邮件、图片、音频、视频等等。如何整合、访问、分析、挖掘和利用这些海量信息资源，成为增强机构业务核心能力的一个关键。有效地理解、挖掘这些文档中的知识，将成为21卅纪初的30年中计算机科学面临的一个重更研究课题。在人量的企业级信息系统的应用中几乎都需要对混合型的数据进行管理。典型的信息服务系统，包括信息的采集、编审、存储、处理、发布等。管理的

5、信息既包括数值信息，如统计数据、生产数据，还有描述性信息，如姓名、地址、证号等短字符信息，乂有说明性文件，如分析报告、政策文件、产品说明等。即使数字档案馆、数字图书馆、医疗管理系统，除需要对文档资料、多媒体内容管理外，还需耍对元数据、用户、权限、日志信息及控制流程等结构化信息进行统一管理。今天的应用系统耍处理的数据对彖，是多类型并存的混合型数据，具有3个特点：（1）信息量人。信息数量多、容量大，而且同一机构的数据还可能分布在不同的介质载体上。（2）类型多样。包括结构化、半结构化、非结构化混合型类型数据。信息来源不同、格式不同、载体不同。（3）处理复杂

6、。对混合类型数据进行统一管理，实现结构化数据和非结构化数据的集成检索。1混合数据管理技术数据管理技术的发展一直紧密跟随着应用需求的发展。20世纪70年代以前的30年，计算机的应用领域主耍集中在“计算”密集型应用上，处理的对象主要是科学计算。这个时期的计算机是名副其实的“计算”机。20世纪70年代以后到90年代的30年，商业数据处理成为计算机的主耍应用领域，数据库面向的典型商业应用如银行资金结算、工资管理、存销货清单管理等，计算机处理的对象主要是结构化的数据。计算机在商业领域的广泛应用极大地推动了以关系数据库为代表的结构化数据处理技术的发展。关系数据库

7、系统(RDBMS)将数据和应用分离开来，抽象了现实世界的数据模型，使得复杂实体数据被结构化，而易于被计算机处理和运算。RDBMS主要面向事务处理和数据分析应用领域，擅长解决结构化数据管理问题。全文信息检索系统(FTRS)是20世纪80年代发展起来的、而向文档类型的数据管理系统。其核心是结合智能信息处理技术，采用专门的倒排结构对海量文本信息建立索引，以实现海量文木数据的高速检索，并对文档及其和关多媒体附件进行管理。全文检索技术在性能和可靠性上已经比较成熟。FTRS已经发展成为以海量文本管理为核心，支持多媒体附件的统一存储的非结构化数据管理系统。信息检索

8、系统是对文本高速搜索，从图书资料、专利检索等应用到如今互联网搜索引擎(Google.白度等)，其核心技术有了