资源描述：
《基于etl的网络认证计费查询系统》由会员上传分享，免费在线阅读，更多相关内容在工程资料-天天文库。
1、基于ETL的网络认证计费查询系统 摘要:本文基于ETL技术,实现了X络认证计费查询系统,与现有校园信息平台进行了系统集成,最后就系统的设计与实现进行了小结,指出本系统的实现可提高X络管理工作效率。 关键词:ETL数据处理查询系统效率 :TP27:A:1672-3791(2012)06(a)-0016-01 随着高校校园X认证计费系统的稳步运行,如何从现有庞大的认证计费数据库提取出用户真正关心的数据进行分析、展示,已成为提高X络管理部门服务质量的重要保证。 本系统以实现灵活的X络认证计费信息查询为目标,重点研究
2、数据ETL[1]技术,从现有认证计费数据库抽取出有用的信息,进行数据集成[2]并长期保留。系统旨在提高用户认证效率、解决关键历史数据不能长期保存、用户自助查询界面不友好等问题,在优化认证计费系统、改善用户交互、增强用户查询体验方面具有重要的应用价值和广泛的适用性。 1系统使用的技术 1.1ETL(数据提取、转换和加载) ETL,Extraction-Transformation-Loading的缩写,中文名称为数据提取、转换和加载。ETL是构建数据仓库[3]的一个环节,负责将分布的、异构的数据源中的数据如关系数据
3、、平面数据文件等进行抽取、清洗、转换、集成,最后加载到数据仓库或数据集市中,成为联机分析处理、数据挖掘的基础。 本系统采用Oracle公司的ODI作为数据抽取及集成的工具,ODI最好的特征是提出了知识模块(Kno,EnterpriseEdition)是sun公司推出的企业级应用程序版本,JavaEE是在JavaSE的基础上构建的,它提供L,不管ents、events、实现动画效果,并且方便地为X站提供Ajax交互。因此系统采用jQuery来提高X页的执行效率和响应速度,给用户更好的使用和视觉体验。 1.3.3Fus
4、ionCharts FusionCharts是InfoSoftGlobal公司的一个基于Flash的图表组件,具有跨平台、跨浏览器的特点,它提供了大量的图表类型,从基本的条形图、柱状图、线图、饼图,到组合图表、滚动图表等。通过FusionCharts图表能够为用户简单明了地展示出各种费用信息、流量信息等。 2系统实现步骤 2.1用户登录和认证 校园X已经采用统一身份认证机制,因此,本系统将与校园X的校园信息平台进行集成,采用单点登录的技术,只要拥有校园X账号的用户在登录校园信息平台后就可以授权直接访问本系统查询
5、自己的X络认证计费信息。 2.2数据库 系统采用Oracle数据库存储数据,主要基于以下两个因素:Oracle数据库性能稳定,能够支持更多用户对系统的快速、高效查询;Oracle数据库支持所有主流操作系统,采用Unix作为Oracle数据库的系统平台,系统运行将更加稳定。 2.3数据处理 2.3.1数据抽取 ODI定时从源数据库中抽取数据,为了对现有认证计费系统不造成影响,计划在每天凌晨4:00-5:00,认证计费系统最为空闲的时候,对源数据库的用户信息表、账户表、账务流水表、上X明细表等进行数据抽取,因为全
6、量抽取的代价小于执行增量抽取算法的代价,所以采用全表删除插入方式,每次抽取前先删除目标表数据再插入新的数据。 2.3.2数据转换 从源数据库中抽取的数据不一定完全符合目标数据库的要求,例如数据格式不一致、数据不完整等,因此有必要对抽取的数据进行数据转换和加工。如:用户名、用户状态(正常/暂停)、账号状态(正常/欠费)、账号余额、用户本周期开始时间,用户自周期开始已使用的总流量等,通过ETL引擎进行数据清洗、数据合并、数据转换和加工。 2.3.3数据加载 当目标数据库是关系数据库时,一般有两种加载方式:一是直接用
7、SQL语句进行insert、update、delete操作;另一种是采用批量装载方法,如bcp、bulk、关系数据库特有的批量装载工具或API。 2.4用户查询 数据展示和报表输出系统采用了Ajax和FusionCharts技术来提高用户体验,同时减轻服务器的压力。进入系统后,用户能够非常直观地获取自己的账号信息、费用信息、用户当前上X周期已消费的金额、在当前周期内用户已使用的总流量等,用户还可以从丰富多样的曲线图、直方图、饼图等获取自己历史上X周期的消费信息、历史流量信息等。系统根据用户使用不同的计费套餐,适时地
8、为用户提出合理的上X建议,帮助用户了解自己的X络使用习惯,让用户选择更加合理的X络计费套餐。 3结语 本研究针对校园X实际环境,首先通过使用ETL技术对现有认证计费数据库进行数据抽取、转换和加载,实现与校园X公共数据平台的数据集成;再通过WEB开发,将抽取出的用户信息、上X明细、账务流水等数据以图表的方式统计分析、灵活展现;最
