基于实时分布式计算的股票预测系统的设计与实现

《基于实时分布式计算的股票预测系统的设计与实现》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、工程硕士学位论文基于实时分布式计算的股票预测系统的设计与实现DESIGNANDIMPLEMENTATIONOFSTOCKFORECASTSYSTEMBASEDONREAL-TIMEDISTRIBUTEDCOMPUTATION黄炜哈尔滨工业大学2018年6月国内图书分类号：TP311学校代码：10213国际图书分类号：621.3密级：公开工程硕士学位论文基于实时分布式计算的股票预测系统的设计与实现硕士研究生：黄炜导师：王宏志教授副导师：徐林彬高级工程师申请学位：工程硕士学科：软件工程所在单位：软件学院答辩日期：201

2、8年6月授予学位单位：哈尔滨工业大学ClassifiedIndex:TP311U.D.C.:621.3DissertationfortheMaster’sDegreeinEngineeringDESIGNANDIMPLEMENTATIONOFSTOCKFORECASTSYSTEMBASEDONREAL-TIMEDISTRIBUTEDCOMPUTATIONCandidate：HuangWeiSupervisor：ProfessorWangHongzhiAssociateSupervisor：SeniorEnginee

3、rXuLinbinAcademicDegreeAppliedfor：MasterofEngineeringSpeciality：SoftwareEngineeringAffiliation：SchoolofSoftwareDateofDefence：June,2018Degree-Conferring-Institution：HarbinInstituteofTechnology哈尔滨工业大学工程硕士学位论文摘要以Flink为代表的流数据处理引擎在实时性要求高的应用场景被广泛使用，正在成为继Hadoop、Spark

4、后的第三代大数据处理引擎。随着信息化时代相关技术的发展，将大数据分布式计算、数据科学应用于经济领域成为研究热点，股票价格作为国家经济、企业前景的晴雨表，对于它的预测一直是热门话题。然而目前存在的问题是，现在的股票预测产品大都是无法做到完全的实时性，使得计算结果的业务价值随着时间的增长而下降，从而使错过决策的最佳时机。为了解决上述缺陷，作者的论文基于对分布式架构以及实时计算的研究，设计了实时大数据场景下的文件入Kafka，静态数据附加，预测，入库四大相关组件，实现基于实时分布式计算的股票预测系统，证明了该系统具有稳定

5、地对外提供短期预测的能力。具体地，本文做了以下工作：首先，本文从交易原始数据角度出发，实践了通过流水线方式处理建立的实时加工处理系统。其次，开发一套适用于金融领域的高可用序列化组件。接着，提供利用堆外内存建立K-V型的数据仓库的方法。然后，使用Flink作为实时计算的框架，通过窗口聚合来获取单位时间内的消息；在短期股票预测场景中，使用已经存在并且实践效果较好的逻辑回归算法实现离散值预测功能，自回归-移动平均模型实现连续值预测的功能。最后，在该系统之上，总结出通用的测量流水线上系统的吞吐和时延的方案，并总结出基于JV

6、M程序性能调优的方案。在测试方面，从分布式架构给出测试用例，除了保证功能性测试通过之外，还将系统置于异常场景下测试，确保系统高可用方案的可行性，保证了系统一定程度上的容错性，同时，使用科学的方法精确地测量并优化了系统的时延和吞吐。本系统在实际的测试过程中，对于短期投资者量化投资场景给出了解决方案，为投资者下一步决策提供数据支持；对于证券交易市场监察部门提供一种从股价分析制定告警规则的方法；同时为自动化交易平台提供实时交易的启发式的解决方案。关键词：Flink；实时预测；分布式系统；流计算-I-哈尔滨工业大学工程硕士

7、学位论文AbstractThestreamingcomputationenginerepresentedbyFlink,whichbeusedwidelyinreal-timescenariosandbecomingthethird-generationbigdataprocessingenginefollowingHadoopandSpark.Withthedevelopmentofrelatedtechnologiesintheinformationtimes,bigdatadistributedcomputi

8、nganddatascienceapplyingfortheeconomicfieldwillbecomearesearchhotspot.Asabarometerofthenationaleconomyandbusinessprospects,thestockpricehasalwaysbeenahottopicforforecast.However,th