基于实时数据流处理的http数据分析可视化系统

《基于实时数据流处理的http数据分析可视化系统》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、飞－Ｉ４击种後Ａ葦ＴＹＯＦＥＯＮＩＣＩＥＬＯＧＹＯＦＣＨＩＮＡＵＮＩＬＥＣＴＲＳＣＮＣ巨ＡＮＤＴＥＣＨＮＯＩＶＥＲＳ专业学位硕±学位论文ＦＯＲＰＲＯＦＥＳＳＩＯＮＡＬＤＥＧＲＥＥＭＡＳＴＥＲＴＨＥＳＩＳ－＇町．心省Ｉ论文题目基于实时数据流处理的ｈｔｐ数据分析可视化系统ｒ专业学位类别工程硕±学号２０１３２２２２０２１３名潘冬亩作者姓指导教师刘的教授独创性声明本人声明所呈交的学位

2、论文是本人在导师指导下进行的研究王作及取得的研究成果。据我所知，除了文中特别加Ｗ标注和致谢的地方外，论文中不包含其他人己经发表或撰写过的研究成果，也不包含为获得电子科技大学或其它教育机构的学位或证书而使用过的材料。与我一同工作的同志对本研究所做的任何贡献均已在论文中作了明确的说明并表示谢意。个作者签名：讀日期：年月日论文使用授权本学位论文作者完全了解电子科技大学有关保留、使用学位论文的规定，有权保留并向国家有关部口或机构送交论文的复印件和磁盘，允许论

3、文被查阅和借阅。本人授权电子科技大学可将学位论文的全部或部分内容编入有关数据库进行检索，可Ｗ采用影印、缩印或扫描等复制手段保存、汇编学位论文。（保密的学位论文在解密后应遵守此规定）作者签名：痛个导师签名；￣日期：年月日分类号密级注1udc学位论文基于实时数据流处理的http数据分析可视化系统（题名和副题名）潘冬（作者姓名）指导教师刘玓教授电子科技大学成都（姓名、职称、单位名称）申请学位级别硕士专业学位类别工程硕士工程领域名称软件工程提交论文日期2016.7.1论文

4、答辩日期2016.7.7学位授予单位和日期电子科技大学2016年12月答辩委员会主席评阅人注1：注明《国际十进分类法udc》的类号。ResearchandImplementationofRealtimeStreamComputingDataAnalysisSystemonHttpMessagesAMasterThesisSubmittedtoUniversityofElectronicScienceandTechnologyofChinaMajor:MasterofEngineeringAuth

5、or:DongPanSupervisor:DiLiuSchool:SchoolofInformationandSoftwareEngineering摘要摘要互联网时代，数据量飞速增长：城市数据、医疗数据、网站数据等数据不断的产生。这些数据隐含着人们生活活动的规律和社会发展的规律,有很大的分析价值。但在这些数据中，却有大量数据因为难以保存而直接丢弃了。这些被丢弃的数据中隐含着有价值的信息，却没有得到利用。为了挖掘这些信息的隐含价值，可以使用流计算方法分析这些数据。流计算是一种数据分析方法，这种方法

6、是实时的，它在得到数据的同时同步进行数据分析，避免了原始数据的累积。同时实时产生结果，保证了分析结果的有效性和可用性。使用流数据分析方法，可以挖掘那些难以保存的大量数据的隐含价值。用户访问网站时会产生大量http数据包。而因为http报文数据量大，冗余信息多，使用传统的存储再分析方法来分析http数据代价很大，性价比很低，所以人们访问网站时产生的http报文通常用过即丢。本文使用流计算分析方法来处理http数据，可以在有限存储容量条件下挖掘http数据的隐含价值。本文的研究方向是从http报文中

7、实时分析网站的用户行为数据，包含用户pv/uv、访问深度、停留时间、地理位置、搜索关键词等。实时显示分析结果。分析产生的用户行为数据可以指导网站的决策、引导网站的建设、验证网站的营销成果、支持上层多维用户行为分析。本文的主要贡献有三个方面：一是通过nodejs技术和redis技术编码完成了一套流数据分析程序；二是设计并实现了一套从http报文中分析用户行为数据的拓扑流程，其中多个分析节点（pv/uv、来源网站、关键词、访问深度、停留时间、地理位置）按流水线分布；三是设计了数个用户行为分析算法，算

8、法功能为从输入的流数据中分析计算用户的pv/uv、访问深度、停留时间等。关键词：流计算，用户行为分析，访问深度，停留时间，用户地理分布IABSTRACTABSTRACTTheinternetisdevelopingveryfast,theamountofdataisgrowingveryfast:urbandata,medicaldata,webdata,etc.Thesedatasreflectthelawsofpeople'sdailylife,theyworthbeinganalyzed.