基于ｗｅｂ的ｃｍｌ化学结构搜索方法初探.doc

《基于ｗｅｂ的ｃｍｌ化学结构搜索方法初探.doc》由会员上传分享，免费在线阅读，更多相关内容在工程资料-天天文库。

1、基于Web的CML化学结构搜索方法初探【摘要】化学标记语言CML已得到广泛应用，目前Web上存在着大量的以CML表示的化学结构信息，google.百度等Web搜索引擎只能实现对文本的检索，无法实现对化学结构的检索。本文在分析CML特点的基础上,介绍了提取与验证Web上CML表示的化学结构信息的方法。利用Daylight公司的THOR-Merlin化学信息数据库系统，提出一种化学结构搜索引擎的设计方案。【关键词】化学标记语言化学结构检索化学结构数据库系统I引言化学标记语言CML(ChemicalMarkupLanguage)最初于1995年

2、由PeterMurray-Rust等人基于HTML2.0开发，尝试解决在Internet上进行化学信息交换的问题。1998年2月W3C发布了XML：可扩展标记语言推荐标准1.0版。化学标记语言CML也根据XML的规范进行了更改和修订，成为根据XML的规范重新定义的一种标记语言，是XML的一个应用。CML目前的应用已相当广泛，如MaterialsGrid>SPECTRA等项目都采用了CML,Web上也存在着大量的以CML表示的化学结构信息。由于化学学科的专业性和内容的相对独立性，目前化学信息的检索都是基于特定的数据库，如SciFinder、

3、Chembank>ZINC>Pubchem、ChemDB、ChemMine等化学数据库。本文提出一种设计方案，将CML转换为SMILES,利用DayLight公司的THOR-MerLin系统，建立针对Web上大量存在的CML表示的化学结构的web搜索引擎。2系统设计框架2.1文档的采集与内容分析文档采集即页面抓取工作，由crawler来完成。由一组种子URL开始,从种子集URL中取出一•个URL,确定相应的主机IP地址，发出抓取页面请求。对非重复文档提取出包含于其中的链接，根据制定的过滤策略（相对链接转为绝对链接，并判断链接是否需要下载）

4、，把过滤后的URL存入URL集中。同时对抓取的网页的内容进行简单的分析，保存包含CML内容的网页。最终的THOR数据炸中并不保存整个网页的内容，而只是保存含有CML内容的网页URLoCML表示的化学结构信息具有区别于网页其它内容的显明特征，它以标记开始，以标记来结束。与标记没有实质的意义，只是起到容器的作用，作为CML内容的根，用来告诉其它CML处理程序在文档中存在化学内容。与之间可以是任何内容，而且可以嵌套。但是目前看到的一些CML文档并未在化学结构信息的最外层加注与标记，而是直接以与表示最外层。在对文档内容分析时•要考虑到这两种情况。

5、可以采用模式匹配来分析抓取的网页内容。2.2文档CML内容的抓取与有效性验证经过crawler的简单过滤，文档内容存储器中的文档都含有CML内容。将文档中CML内容复制到单独的文件中。文档URL与文档产生的CML文件具有一对n关系，n为CML文件的个数。CML内容的有效性验证分三步［2,3］。第一步确定CML内容是否由与标记或与标记所包含。这在2.1节中的文档内容分析时巳采用，目的是过滤掉确定不含CML内容的文档。第二步，由于CML严格遵守XML规范，可以采用CMLDTD与CMLSchema对CML内容进行验证（CMLl.x采用DTD）。

6、第三步采用基于XSLT的验证方法，对CML的内容进行分析。比如可以通过XSLT来判断CML中的原子化合价是否合法，化合物中两个原子之间的距离是法合法等。2.3CML至SMILES的转换与SMILES的存储SMILES是一•种线性的用ASCII码来表示原子和化学键的化学语言。和其它化学结构表示方法相比，SMILES简短易读。同一种化学结构用SMILES来表示要比用连接表（ConnectionTable）节省50%至％70的存储空间。典范SMILES能够保证每个化学结构的SMILES具有唯一性，因而常被作为化学数据库中的索引关键字。CML到S

7、MILES的转换，本设计采用开源软件OpenBabel提供的API函数。OBConversion为转换类，转换伪码如下：OBConversionconv(&cin,&cout);if(conv.SetInAndOutFormats("SMI",“MOL”))(OBMolmoI;if(conv.Read(&mol))...manipulatemoleculeconv->Write(&mol);}THORServer是一•后台程序，不允许用户直接对其操作，用户必须通过THORClient对THORServ

8、er进行操作。用户通过THORClient将CML转换后的SMILES及CML所在的文档URL、当前访问时间等存入THOR数据库，并以SMILES作为记录的主关键字。本系统根据Daylight