基于wcf的通信数据etl服务的设计与实现

《基于wcf的通信数据etl服务的设计与实现》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、硕士学位论文基于WCF的通信数据ETL服务的设计与实现TheDesignandImplementationofCommunicationDataETLServicebasedonWCF学号：21109236完成日期：2Q!垒生垒月2墨目大连理工大学DalianUniversityofTechnology大连理工大学学位论文独创性声明作者郑重声明：所呈交的学位论文，是本人在导师的指导下进行研究工作所取得的成果。尽我所知，除文中已经注明引用内容和致谢的地方外，本论文不包含其他个人或集体已经发表的研究成果，也不包含其他已申请学位或其他用途使用过的成果。与我一同工作的同志对本研

2、究所做的贡献均已在论文中做了明确的说明并表示了谢意。若有不实之处，本人愿意承担相关法律责任。学位论文题目：建立丝盟堑垒丝毖鳖塑红生避金堑业氢坦作者签名：∑蠡么日期：也!竺午—L月上日大连理工大学硕士学位论文摘要网络优化是在对移动通信数据处理分析的基础上，对现有的网络设备进行调整，使之能够更好的服务广大手机用户的重要工作。各大网络设备与服务的提供商都需要一个数据分析平台对基站所产生的日志文件进行分析，找到网络中需要调整的方向或者目前网络中存在的问题。通过对网络优化中常用的移动通信数据的研究和对网络优化工作人员需求的调查，发现现有的网络优化工作仍然采用手动的方式，网络优化人

3、员日常工作有相当一部分时间在处理各种各样的日志文件。数据处理程序不完善，很多的常用分析功能都需要人工完成，费时费力，而且重复性工作很多。根据网络优化工作人员的具体需求，总结在移动通信领域的数据处理需求，最终设计了基于WCF的通信数据ETL服务。系统使用WCF寄宿Windows服务的方式向外开放调用接口，方便外界引用数据服务，调用系统功能。系统使用基于表结构描述的数据存储方式，并对数据进行横向切分，使用SQLServer数据库很好的对大量不同格式的移动通信数据进行了表示和存储。在细致分析需求的基础上，将数据导入过程细化，分为文件列取、下载、解析、保存四个步骤，细致检测数据

4、导入过程，检测任务异常。系统允许开发人员通过编写插件的方式进行二次开发，在不修改系统的情况下对系统进行直接扩展，增加数据处理功能。为了方便数据读取，满足数据透明性，在查询条件的限制和功能灵活性的平衡上做了一定的尝试，在考虑系统扩展性，预留计算扩展接口的情况下，提供两种不同的数据读取方式，并基于这两种数据读取方式，提供了面向移动通信领域的常用网络数据计算。系统设计和实现的过程中，充分考虑了客户端的需求，通过流水线，多线程和延迟加载等方式对系统的效率进行了优化，保证服务系统的响应时间和应答效率，提高数据处理效率。目前，在经过大连移动公司现场测试之后，通信数据ETL服务已经提

5、交爱立信公司内部使用，作为网络数据处理的基础支持项目，协助网络优化工程师对网络数据进行分析，得到了相关工作人员的充分肯定，具有实际应用价值。关键词：网络优化；ETL；WCF；数据服务；大数据；基于WCF的通信数据ETL服务的设计与实现TheDesignandImplementationofmobilenetworkdataETLservicebasedonWCFAbstractBasedondeanalysisofmobilenetworkdata，networkoptimizationisimportanttoworkontheexistingnetworkequip

6、menttobeadjustedSOthatitcanservethemobilephoneusersbetter．Thenetworkequipmentandserviceprovidersneedadataanalysisplatformtoanalysisdailylogfilesgeneratedbythebasestation，tofindthedirectionthenetworkneedstobeadjustedtoandtheexistingproblemsofthenetwork．Theresearchoncommonlyusedmobiledatai

7、nnetworkoptimizationandneedsofstaffsworkingonnetworkoptimizationfoundthatthenetworkoptimizationworkiSstilldonemanually．andconsiderablepartofthedailyworkofnetworkoptimizationstaffsiSspendindealingwithawidevarietyoflogfiles．Dataprocessingprogramisnotperfect．alotofcommonanal