毕业论文-基于NoSQL的Web日志分析系统的设计

《毕业论文-基于NoSQL的Web日志分析系统的设计》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、论文编号：学科分类号：—_520．60一安徽理工大学硕士学位论文基于NoSQL的Web日志分析系统的设计作者姓名：俭姐妲专业名称：让篡扭廑旦这丕研究方向：让簋扭圆终区墓座旦导师姓名：王二基直级工猩!!巫导师单位：塞徽理工太堂答辩委员会主席：张毅论文答辩日期：2012年5月29日安徽理工大学研究生处2012年6月12日ADissertationin．ComputerApplicationTechnology_●TheofWebbasedonDesignLogAnalysisSystemNoSQLCandidate：XuJuanjuanSupervisor：WangY

2、ibingSchoolofComputerScience&EngineeringAnHuiUniversityofScienceandTechnologyNo．168，ShungengRoad，Huainan，232001，P．R．CHINA摘要捅要如今的互联网发展迅猛，互联网企业也面临极大挑战，每天会被数以万计甚至百万千万的用户访问。为了提供更好的服务质量，了解用户的访问特点及用户需求，迫切需要对用户的访问行为进行分析研究。根据研究出来的用户行为规律来改进网站，吸引更多用户的眼球，从而给客户带来更好的体验，同时给公司带来商机。Web日志分析便因此而产生。所谓的W

3、eb日志分析，就是收集用户访问网页时产生的所有日志信息，进而对这些日志进行数据转化、清洗、挖掘的一个过程。互联网企业的壮大以及应用系统规模的扩充，相应日志信息的数量级也在同步增长。传统的单机版日志分析系统完全不能达到目前互联网企业日志分析的需求，为此，大规模数据处理平台就成为日志分析的理想平台。本文主要研究Hadoop分布式计算框架和MongoDB分布式数据库，并基于Hadoop和MongoDB设计高效的Web日志分析方案。在Hadoop和MongoDB中基于MapReduce进行算法设计时，本文提出了映射(mapping)表文档优化方案，以提高日志分析的效率。在

4、日志分析算法设计中本文提出了局部合并键值算法，降低写入和传输的数据量，提高了算法效率。在客户端设计中，本文主要介绍基于SliverLight客户端应用程序的框架设计和构建，以便高效开发客户端的具体应用模块。图20表3参50关键词：日志分析；Hadoop；MongoDB；MapReduce；SliverLight；映射表分类号：TP39；安徽理工大学硕士学位论文Abs仃actNowadaystheIntemetdevelopsrapid，andInetrnetcompanieswhichareaccessedbytensofthousandsorevenmillio

5、nsofusersalsofacegreatchallenges．Inordertoprovidehighqualityofserviceandunderstandtheusers’accessfeaturesaswellasusers’needs，it’Surgenttoanalysetheusers’accessbehavior．Improvingthesiteaccordingtotheregularpatternofstudytheuserbehaviorwillattractmoreusers．Inthiscase，customerswillgetabe

6、tterexpedenceandcompanieswillobtainmoreopportunities．Therefore，Webloganalysisisgenerated．TheSO—calledWebloganalysisistocollectallloginformationwhenusersvisitthewebsite，thentoconver、cleanandminethelogdata．AsthegrowthofIntemetcompaniesandtheexpansionofthesizeoftheapplicationsystem，thema

7、gnitudeofthecorrespondingloginformationisalsosynchronizedgrowth．Traditionalstand-aloneloganalysisprogramcannotmeettheneedsoftoday’SIntemetcompaniesloganalysis．Large—scaledataprocessingplatformbecomesidealplatformforloganalysis．TheHadoop，distributedcomputingframework，andMongoDB，distrib

8、utedd