基于大数据集的学生上网行为分析

《基于大数据集的学生上网行为分析》由会员上传分享，免费在线阅读，更多相关内容在行业资料-天天文库。

1、QQ：792042913毕业设计说明书基于大数据技术的学生上网行为分析系统设计学生姓名：xx学号：xxxxx学院：计算机与控制工程学院专业：计算机科学与技术指导教师：xx2016年6月QQ：792042913基于大数据技术的学生上网行为分析系统设计摘要伴随着互联网的普及与发展，人们通过网络交流日益频繁，同时，互联网已经日益成为人们获取信息的重要渠道。学生用户使用搜索引擎查询一些信息的时候，会产生相应的查询日志。而这些查询日志中包含着用户有用的信息，可以从这些信息中分析出用户的真实需求及隐形需求。随着Hadoop分布式处理框架的兴起，给海量用户上网日志的研究带来了巨大的希望。基于以上的技

2、术发展与查阅大量相关期刊，本论文通过对用户搜索引擎搜索日志进行详细的分析，利用hadoop框架为基础，运用HDFS分布式文件系统存储日志与MapReduce计算框架，同时配合可视化技术，设计了一个基于大数据的学生上网行为分析系统。该系统主要包含了三个模块，日志分析模块，日志存储模块，可视化展示模块。其中对日志的分析从四个维度进行，即学生用户搜索次数排行，关键词排行分析，时间分析。其中日志的存储模块分为HDFS存储模块与Mysql存储模块。可视化展示模块是对分析得的结果进行直观的展示。最终通过测试验证了系统的可行性。关键词：Hadoop，javaee，查询日志，学生行为分析QQ：7920

3、42913TheDesignoftheStudentBehaviorAnalysisSystemBasedOnBigDataAbstractWiththepopularizationanddevelopmentoftheInternet,peoplecommunicatewitheachotherthroughthenetworkfortheexchangeofinformationwerefrequent.However,Internethasincreasinglybecomeaveryimportantchannelfortheaccesstoinformation.Studen

4、tusersusingasearchenginequerysomeinformationwillproducethecorrespondingquerylog,AndtheseuserquerylogWhichcananalyzetheuser'srealdemandandstealthrequirementscontainsusefulinformation.WiththeriseoftheHadoopdistributedprocessingframework,themassiveuser'sweblogresearchareofgreathope.Basedontheabovet

5、echnologydevelopmentandalargenumberofrelevantjournals,thispaperusethehadoopframeworkasthebasisthroughadetailedanalysisoftheusersearchlog,andapplythehadoopdistributedfilesystemHDFStostoringlogandthegraphscomputingframeworkofMapReduce,atthesametimecooperatewithvisualizationtechnologytodesignastude

6、ntonlinebehavioranalysissystembasedonbigdata.Thesystemmainlyincludesthreemodules:loganalysismodule,thelogstoragemodule,visualdisplaymodule.theanalysisofthelogisfromfourdimensions,whichincludethestudentnumberofusers'searchranking,keywordrankinganalysis,timeanalysis.Thelogstoragemoduleisdividedint

7、oHDFSstoragemoduleandMysqlstoragemodule.Visualdisplaymoduleintuitivelydisplaytheanalysisoftheresults.Finallythefeasibilityofthesystemisverifiedbytest.Keywords：hadooop,javaee,Querylog,Studentbehavioranalysis2016届毕业设计说明书QQ：792