支持回算的大数据实时计算关键技术研究

《支持回算的大数据实时计算关键技术研究》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、硕士学位论文支持回算的大数据实时计算关键技术研究作者姓名：许四平指导教师:喻之斌研究员中国科学院深圳先进技术研究院胡金星研究员中国科学院深圳先进技术研究院柯伟聪高工中国平安人寿保险股份有限公司学位类别:工程硕士学科专业:计算机技术培养单位:中国科学院深圳先进技术研究院2018年12月ResearchontheKeyTechnologyofReal-timeComputingofBigDataSupportingtheBackCalculationAThesisSubmittedtoUniversityofCh

2、ineseAcademyofSciencesinpartialfulfillmentoftherequirementforthedegreeofMasterofEngineeringinComputerTechnologyByXuSipingSupervisor:ProfessorYuZhibinProfessorHuJinxingShenzhenInstitutesofAdvancedTechnologyChineseAcademyofSciencesDecember,2018摘要大数据实时计算是为了解决大

3、量数据需要实时的按照指定的业务逻辑计算出结果，并且计算结果能够实时存储，供外部系统调用。在实际应用中，业务逻辑并不是一层不变，需要根据具体情况做出调整。在某些场景下，需要对已经参与过计算的历史数据，重新进行计算，而事实上已经参与过计算的数据，不会再重新从源头产生，这就涉及到大数据实时计算的回算，也就是本文需要讨论的重要课题。本文以大数据实时计算需要回算历史数据的场景为背景，研究如何解决大数据实时计算回算问题，设计解决实时计算回算问题的方法。主要目标是在实时计算场景下，当业务逻辑发生改变时，能快速进行历史数据的

4、回算。本文在前人研究基础上，吸取经验，结合当前所在行业，选取一种较为常见的业务场景作为研究对象，实现解决在复杂业务场景下实时回算历史数据问题的方法。本论文主要包括以下方面内容：1、提出了实时计算回算场景的分类以及处理策略：对回算的概念做了定义，并且明确何时进行回算，即回算时刻的问题，明确了怎么进行回算，即回算的策略问题。2、提出了数据源有变化时数据补偿的处理方法：在实际业务中，业务产生实时数据源，可能存在根据业务主键删除、修改，而不仅仅是新增，针对这类问题，提出数据补偿机制，对删除和修改的数据，进行数据补偿，

5、再与新增的数据统一进行计算。3、研发了支持回算的移动实时报表平台:支持回算的移动实时报表平台,能够在业务逻辑发生变更以及在多源数据关联回算情况下,能快速进行回算,并且实时指标更新频率满足业务要求，对报表平台测试和分析，均达到了预期目标。关键词：大数据；实时计算；回算；历史数据IResearchonthekeytechnologyofreal-timecomputingofbigdatasupportingthebackcalculationAbstractReal-timecalculationofbigda

6、taistosolvelargeamountsofdata,whichneedstobecalculatedinrealtimeaccordingtothespecifiedbusinesslogic,andthecalculationresultscanbestoredinrealtimeandcanbeinvokedbyexternalsystems.Intheproductionapplication,thebusinesslogicisnotalayerunchanged,mayneedstobead

7、justedaccordingtothespecificsituation.Insomescenarios,thehistoricaldatathathasparticipatedinthecalculationneedstoberecalculated.Infact,thedatathathasparticipatedinthepreviouscalculationwillnotberegeneratedfromtheoriginaldatasource.Thiscaseinvolvesthetopicof

8、real-timebackcalculationsforbigdata,andthisisthemostimportanttopictobediscussedinthisthesis.Thisthesistakesthesceneofbigdatareal-timecalculationthatneedstoberecalculatedhistoricaldataasthebackground,re