基于web的商业智能系统在社保行业的实现

《基于web的商业智能系统在社保行业的实现》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、东北大学硕士学位论文第五章ETL过程与实现数据到源数据存放区，我们的程序会自动处理存放区的文件，处理结束后将文件转移到SUCCESS文件夹，否则转入error文件夹，由管理员处理。5．4．1Adapter的设计与实现一数据抽取与转换本系统的源数据来源于业务人员个人电脑上保存的相关文件。养老保险部分数据为MicrosoftVisualFoxPro的DBF文件，包括基本险缴费、养老金发放、企业年金、遗属补贴等不同结构的DBF文件。针对这部分数据的主要特点，我们设计一个通用的数据抽取与转换程序程序(Adap

2、ter)，这个Adapter能够对所有DBF文件进行处理，将其导入DB2数据库中。在导入的过程中进行相应的处理即数据的转换，修改不合理数据(如日期为2月30日)，过滤脏数据(如将null转换成0)等等。Adapter采用JAVA语言+XML(TheExtensibleMarkupLanguage)技术实现。JAVA语言用来实现Adapter的具体编码；XML作为配置文件，定义从源数据抽取数据的字段，目标数据库对应表、字段。由于JAVA语言与XML都是与平台无关的语言，可以“一次开发，到处运行”，Ada

3、pter可以应用在以后的与DBF文件有关的、任何平台的项目中，用来处理不同格式的DBF文件，将其导成文本文件或导入指定数据库中。Adapter的结构与作用见图5．2。图5．2Adapter结构与作用Fig．5．2Adapterstructureandfunction如图5．2所示：(1)[]q60Adapter读取DBF部分，采用基于HXTT(HongxinTechnology＆TradeLtd)公司读取DBF的JDBC驱动；(2)图中②Adaptcr连接DB2数据库部分，采用IBM公司连接DB2的标

4、准JDBC驱动。东北大学硕士学位论文第五章功【L过程与实现Adapter的具体实现如图5．3所示。图5．3Adapter结构类图Fig．5．3AdapterclassstructureAdapter的JAVA程序主要包括三个包，Tools包用来处理数据转换，如：处理源数据中的空串、合理化日期格式、过滤空串等等：DBConn包存放数据库连接信息；ETL包为具体实现部分，首先从XML文件中读入数据的相关信息，然后调用DBConn包中的数据库连接方法，连接到DBF文件和DB2数据库，最后调用exceData

5、base0方法将数据合理转换后，抽取到DB2数据库中。Config．砌l存储的是源数据和目标数据库的信息。以基本险缴费部分配置文件为例，代码如下：主要定义规则的年份，源数据和目标数据库相对应的表、字段名称。东北大学硕士学位论文第五章ETL过程与实现jbxl99301,jbxl99302<／table>脑编号,zhdn_9

6、3,zhlj_93，zhlj_939<／field><／source>