基于日志文件的数据监控系统设计与实现

《基于日志文件的数据监控系统设计与实现》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、学校代号10532学号G132460221分类号TP311.5密级公开工程硕士学位论文基于日志文件的数据监控系统设计与实现学位申请人姓名杨柳清培养单位信息科学与工程学院导师姓名及职称戴牡红副教授张晓伟高工学科专业软件工程研究方向数据库技术论文提交日期2016年06月02日学校代号：10532学号：G132460221密级：公开湖南大学工程硕士学位论文基于日志文件的数据监控系统设计与实现学位申请人姓名：杨柳清导师姓名及职称：戴牡红副教授张晓伟高工培养单位：信息科学与工程学院专业名称：软件工程论文提交日期：2016年06月02日论文答辩日期：2016年05月22日答辩委员会主席：杨贯中教授Desi

2、gnandImplementationofDataMonitoringSystemBasedonlogFilebyYangLiuqingB．E．(FoshanUniversity)2013AthesissubmittedinpartialsatisfactionoftheRequirementsforthedegreeofMasterofEngineeringinSoftwareEngineeringintheGraduateSchoolofHunanUniversitySupervisorAssociateProfessorDAIMuhongSeniorEngineerZhangXiaowe

3、iMay,2016湖南大学学位论文原创性声明本人郑重声明：所呈交的论文是本人在导师的指导下独立进行研究所取得的研巧成果。除了文中特别加标注引用的内容外，本论文不包含任何其他个人或集体已经发表或撰写的成果作品。对本文的研究做出重要贡献的个人和集体，均已在丈夺明确方式标明。本人完全意识到本声明的法律后果由本人承担。作者签名：曰期：年月曰学位论文版权使用授权书本学位论文作者完全了解学校有关保留，、使用学位论文的规定同意学校保，允许论文被查阅和借阅留并向国家有关部口或机构送交论文的复印件和电子版。本人授权湖南大学可将本学位论文的全部或部分内容编入有关数据库进行

4、检索＾、。，可＾＾？采用影印缩印或扫描等复制手段保存和汇编本学位论文本学位论文属于１、保密□，在年解密后适用本授权书。２／、不保密〇。＂＂（请在上相应方框内巧Ｖ）：作者签名；日期年月日导师签名：日期年月來日＾基于日志文件的数据监控系统设计与实现摘要随着互联网技术的日益发展，网络为人们提供了海量信息和多样性的娱乐环境，如新闻资讯、影视视频、音乐等。然而，面对如此繁杂的信息和服务，针对用户的个性化需求，如何帮助用户便捷地从海量数据资源中获取到他们真正想要的信息和感兴趣的资源，个性化推荐引擎技术由此应运而生。通过个性化推荐，能够极大地降低用户的浏览和检索成本，帮助用

5、户更快定位有效的信息和感兴趣的资源。但由于用户喜好的差异性、需求的复杂性以及推荐信息的多样性，往往使得有效的推荐策略和推荐算法不能一蹴而就，也就必然导致在产品推广和生产实验的过程中，需要依赖于个性化推荐引擎的日志来进行分析和评估，再根据分析评估结果对推荐策略进行迭代、优化和改进，以达到辅助优化推荐过程的目的。面对成千上万的产品实验和海量的用户访问日志，如何通过一个日志数据监控系统来实时有效地掌控产品的使用情况，以及快速客观地评估产品推荐的效果和质量，并辅助促进推荐策略算法的优化和改进,这就成了一个非常值得研究的课题。本文通过设计并实现了一个基于推荐引擎日志下的数据监控系统来解决上述问题，该监控

6、系统主要针对产品实验和海量用户访问日志进行监控分析，并根据监控分析结果快速客观地评估产品推荐的效果和质量，从而对产品或实验的推广效果进行量化评价，具有一定的进步性。系统首先从HDFS的数据仓库中获取经过过滤处理后的日志数据，接着采用临时的分布式处理框架，对事先定制的实验指标进行快速的统计，并将统计结果导入MySQL数据中，最后再对数据库中的参数指标按照配置的监控策略进行监控，监控的结果以邮件和短信的形式实时发送给相应的实验和产品负责人，最终实现为推荐的效果评估和监控策略算法的改进优化提供实时、有价值的数据支持。关键词：数据统计；数据监控；MapReduceII软件工程硕士学位论文Abstrac

7、tWiththeincreasingdevelopmentofInternettechnology,thenetworkhasprovidedpeoplewithvastamountsofinformationanddiversityofentertainmentenvironment,suchasnews,televisionvideo,music,etc.However,facedwithva