基于storm的实时日志分析系统的设计与实现

《基于storm的实时日志分析系统的设计与实现》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、．．八＞甲ｙｉ．或．繁３謂ｆ：／ｉ賓曹：受躬Ｍｃ養療載春．哨蘇，：繁＃：．复：ｖｖ祖實．－－ｆ．．．．好．＾薦净＼苗當ｘ義？峨義ｖ－５ｉ苗：ｙ＇破，聲＇群度＇．／．巧掉Ｘ＞辱，；．藝！一￥，ｒ專，咕．兴＾Ｖ邱－．為＞斟．、＇．茜ｉ義乂義＇譜ｖ為邊＾、韻輪．樣Ｓ／韦巧攻譚，脑：；ｉ：．－完化＇接：斤毕ｂ文冉．馨，．．．－．；－法＂：请的立ｕ八繁ｉ／矜ｍ．．象ｉ義．．．节片．乃／？暴一，．１每．３．、：／餐ｖ．／－著及．矜‘；惠ＪＵ时５统—？ｃ．￥－蒙令‘＾．ＳＷ见帮貧、＇萬＼、斗者烛记＇？＇＞学｜Ｉ＾谢Ｗ＾如＇＾寒＾？．．巧究方ｉ

2、＂仁．＞．．一ｒ．省＇＂．：＂證教＇ｆ导教４；Ｊ：ｆ．４；横．藏Ｍ；；勺；，繁知？可＞Ｖ，；．雜轉；．．．＾；窜；．＾视‘喝＾‘壽．．；餐．；马适儀囊．；？．變．＞节．＾：攀ｉ担％＃：譬ｌ％一巧式＾．Ｖｖ參舗養，诗赛．屯．：＇；．．ｒ．ｙ＾‘心Ｐ；襄爲私＇ｉ！满．复ｌ成速察赛六ｉ．ｆ：Ｉ斬範‘，＾妒戸产．唉凝，．誤為：、如耀．懸Ｈ蠻ｒ＾请：一：＃為達寨Ｊ．．：．＾歲．若／苗，．．一班．ｉ矣於，屬＇‘转Ｉ／；裹讀？＾兵衫：八１籌吟早：山＇接蓉辞一兴．瞒；議Ｖ－篆．杂壤＇＾、信．１苗诗著，舊．ｖ．二蒼，‘攘．心

3、叫．ｒ心？Ｖ皆：．；界藥馨餐．絲摩一聋發參．篆请塞舊心；：ｉ＇寶－Ｖ；诗：媒巧技隹省論１蘇．．Ｖ＾．薄／：壤顏．：，；礙作尸：，；邊巧數，：＞讀．為＇萬批：：參，作，；戶；．苗＂译，；：，驾塞在：．其：：寒；乃－大＾；持某＇喊＃谨．马擇！．＾．ｆ蘇‘彎转０聋Ｖ＂弓知＾ｖ■參／？．，ｖ＾．乂禱心驚聲ｒ一．＞＾：批．．賽ｉ＾＃－－於：．：疗凌‘＊．．軒．．舜：＞ｉ＇．．靈ｔ＇气．７＇馨荀＾蒙：，‘女森．巧麓Ｖ挺＾．Ｗ．舞＞：晴挽－－抑看＇读：一＾．．感，拓、養貧占義！又读＼．；＞告齡菱、篇．蘇：犧參ｉ＇严／ｔ．馬苗＂－邊ｒ伊巧＇省；塞ｖ．

4、療．增蹇囊難女羣巧＂薦？■這霧＾：ｒ５月家＾；２爆裏；＾＞０心／Ｘ：．社歡、’：％黄．ｉ；一林巧‘ｒ＞．￣糸讀＇咬－？ｉ．，韩．义ｉ，基于Ｓｔｏｒｍ的实时日志分析系统设计与实现作者：屈国庆指导教师：顾庆教授南京大学研究生毕业论文（申请工程硕壬学位）南京大学软件学院２０１６年５月ｔＴｈｅＤｅｓｉｇｎａｎｄＩｍｐｌｅｍｅｎｔａｔｉｏｎｏｆＬｏｇＡｎａｌｓｉｓＢａｓｅｄｏｎＳｔｏｒｍｙＱｕＧｕｏｉｎ，ｑｇＳｕｂｍｉｔｔｅｄｉｎｐａｒｔｉａｌｆｕｌｆｉｌｌｍｅｎｔ

5、ｏｆｔｈｅｒｅｑｕｉｒｅｍｅｎｔｓｆｏｒ＊ｔｈｅｄｅｉｅｅｏｆＭａｓ化ｒｏｆＥｎｇｉｎｅｅｒｉｎｇｇＳｕｐｅｒｖｉｓｅｄｂｙＰｒｏｆｅｓｓｏｒＧｕ，ＱｉｎｇＳｏｆｔｗａｒｅＩｎｓｔｉｔｕｔｅＮＡＮＪＩＮＧＵＮＩＶＥＲＳＩＴＹＮａｎｊｉｎｇ，ＣｈｉｎａＭａ２０１６ｙ，南京大学硕±论文摘要海量实时计算作为大数据计算的重要组成部分，实时日志数据分析正在逐渐成为各个公司或互联网产品依赖的重要需求。实时海量日志数据计算正应用在实时分析统计，实时推荐，实时风控，实时监控和个性化推荐服务等应用场景中。一个基于別

6、ｏ根据用户对海量日志数据的实时性处理需求，本文设计并实现了ｒｍ的实时日志分析系统。本文的工作主要包括：１详细介绍本系统的研究背景、所涉及到的技术。同时详细说明了系统的）设计和功能需求，系统整体架构化及相关模块架构，重点包括了系统前后端的详细实现。巧分布式收集模块采用Ｆｌｕｍｅ技术实现多源异构的日志数据收集、分发和存储功能，该技术具有分布式、可扩展、容错、高性能的优点。３异步通信模块采用Ｋａｆｋａ技术实现收集模块和处理模块之间的解賴作用，）该技术最大的优点是高性能，吞吐量大。４实时数据分析模块采用的是Ｓｔｏｒｍ技术，Ｓｔｏｒｍ＾＾数据流的，

7、）｜形式流式处理能够高性能实时处理源源不断地数据。本系统解决了分布式收集异源日志数据，实时计算，数据处理复杂和分析结果展示等问题，实现了海量异源日志数据的收集功能、数据异步通信功能、一实时处理日志数据功能和实时查询结果数据功能，提供套稳定的、易扩展的，分布式的，高性能海量日志数据实时分析系统。关键词：Ｓｔｏｒｍ，海量日志数据，实时分析，ＫａｆｋａＩ南京大学硕±论文ａｂｓｔｒａｃｔＡｂｓｔ巧ｃｔｓｂｔａｃｏｍｕｔｎａｎｍｏｒａｎａ