机票实时数据处理系统的设计与实现

《机票实时数据处理系统的设计与实现》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、硕士学位论文(工程硕士)机票实时数据处理系统的设计与实现DESIGNANDIMPLEMENTATIONOFREAL-TIMEDATAPROCESSINGSYSTEMFORTICKETS董云龙哈尔滨工业大学2016年6月国内图书分类号：TP311学校代码：10213国际图书分类号：621.3密级：公开工程硕士学位论文机票实时数据处理系统的设计与实现硕士研究生：董云龙导师：徐志明教授副导师：李松林高级工程师申请学位：工程硕士学科：软件工程所在单位：软件学院答辩日期：2016年6月ClassifiedIn

2、dex:TP311U.D.C:621.3DissertationfortheMasterDegreeinEngineeringDESIGNANDIMPLEMENTATIONOFREAL-TIMEDATAPROCESSINGSYSTEMFORTICKETSCandidate：DongYunlongSupervisor：ProfessorXuZhimingAssociateSupervisor:SeniorEngineerLiSonglinAcademicDegreeAppliedfor：Mastero

3、fEngineeringSpeciality：SoftwareEngineeringAffiliation：SchoolofSoftwareDateofDefence：June,2016哈尔滨工业大学工程硕士学位论文摘要本论文的主题是机票实时数据处理系统的设计与实现，来源于公司大数据部的实际业务需求。该公司业务核心是订购机票服务，线上机票订购系统每天都会产生大量的交易数据，存储在MySQL和日志文件中。由于分库分表策略，机票交易数据分布在3500多个MySQL数据库中，涉及近五万张表。本系统对大量的

4、机票数据进行实时的处理和展示，以满足运营以及决策人员的数据查询需求。本系统分为四部分，分别为数据实时同步，数据处理，数据存储以及数据展示。为了保证数据采集的实时性，本系统使用Canal（基于MySQLBinlog的实时同步开源项目）来完成MySQL数据库的实时数据同步功能。数据处理部分根据存储和展示方式的不同，分为ElasticSearch（实时全文检索引擎）处理程序，同构数据处理程序，Storm(分布式流数据实时框架)实时处理程序三部分。ElasticSearch处理程序用于根据业务规则整合机票信

5、息，将所有信息放入一张表，存储到ElasticSearch中，用于大数据量的任意字段的实时查询。同构数据处理部分根据分库分表策略，将不同数据库相同表名中的信息整合到同一张表中。全量数据存储在HBase中，用于指定字段的实时查询，不支持任意字段的实时查询。同时，两天内的数据会存储到MySQL，完成邮件报表等功能。Storm实时数据处理部分则实现了机票交易信息的实时看板功能，利用Storm的实时计算能力，对线上交易数据进行统计，通过折线图，表格等方式实时地进行结果展示。在本系统之前，公司采用基于Hive

6、的离线分析系统，在时效性上具有较大的延迟。对时间要求较高的需求则直接查询线上数据库，必须额外的逻辑来处理复杂的数据库问题。本系统统一了所有的数据来源，整合之后存入唯一的数据仓库，提供实时的数据查询和分析，能够保证数据的准确性，实时性以及稳定性，在每秒200条数据的情况下，保证秒级的延迟，并且稳定地运行一个月以上。关键词：大数据；分布式文件系统；实时查询；实时计算-I-哈尔滨工业大学工程硕士学位论文AbstractThemeofthispaperisthedesignandimplementation

7、ofreal-timedataprocessingsystemofticketswhichoriginatesfromthecompany'sactualneedsofbigdatadepartment.Thecompany'scorebusinessisserviceorderingplanetickets.Onlineticketorderingsystemwillgeneratealotoftradingdataeveryday,andstoreddataintheMySQLandlogfil

8、es.Sincethesub-libraryandsub-tablestrategy,tickettransactionsinmorethan3500MySQLdatabasesinvolvenearlyfiftythousandtables.Inordertomeettheneedsofoperatorsanddecision-makers,alargenumberofdatahavebeenprocessedanddisplayedinrealtimebythes