简析基于大数据平台的动态票额智能预分系统的研究与实现

《简析基于大数据平台的动态票额智能预分系统的研究与实现》由会员上传分享，免费在线阅读，更多相关内容在应用文档-天天文库。

1、简析基于大数据平台的动态票额智能预分系统的研究与实现从2011年起，铁路在全路实行旅客列车票额智能预分，采用客流预测方法生成列车席位预分方案，达到了票额管理合理化、科学化、趟车效益增加，并且自预售之日起，保证始发长途票额分配合理，兼顾沿途需求，保障中间站的旅客发送，充分提高了中间站组织客流的积极性。为各铁路局客运组织实现挖潜提效、精细化管理起到关键作用作用。随着参与预分的列车不断增多，动车组列车购票习惯的变化，现有的预分方法和实现机制也存在以下问题：　　(1)铁路列车近年来调图频繁，车次急剧增加，并且预售期延长，由调图带来的停站方案、开点变更、编组调整变化较大，导致

2、预测计算量巨大，系统负载较重。　　(2)以往的票额预分为预售期外一次预测并预分，预售期内调整完全依据人工调整，不容易及时发现问题，票额调整工作被动，且临近开车期间销售情况难以掌握。　　因此，有必要针对参考期内席位售出情况和预售期内余票概貌等情况进行动态监测，研究票额动态预分的方法，并对预测数据、调整依据的计算进行基础架构改造，适应海量数据变化的需要。　　1铁路客票大数据平台的研究与实现　　随着客运历史数据的累积，以及全国铁路客运规模的快速扩展，全国铁路客票历史数据规模越来越大，数据种类也越来越多，仅仅依靠关系型数据库进行数据的管理和操作，已经不能满足需要。因此，以客

3、运营销数据为基础，结合由客票生产系统产生的实时数据，采用开源分布式数据库构建大数据平台，实现铁路客票大数据平台的研究具有重要意义。　　1.1Hadoop分布式并行处理　　Hadoop是近年来炙手可热的开源分布式并行处理框架，用户可忽略对底层并行实现的细节高效的构建出并行的分布式程序。Hadoop主要包括2个组件：(1)与GFS类似的分布式文件系统，简称HDFS;(2)并行计算模型MapReduce，由JobTracker、TaskTracker等组件组成。　　Hadoop的工作原理是将数据拆成片，并将每个分片分配到特定的集群节点上进行分析，每个数据分片都是在独立的集

4、群节点上进行单独处理的，因此非常适合处理大数据量、非结构化数据。Hadoop集群的另一个特点是具有较好的可扩展性，随着数据量的增加，集群的处理能力将会受到影响，可通过添加额外的集群节点有效地扩充集群以解决问题。Hadoop集群的并行处理能力可显著提高计算效率，能达到实时或准实时数据处理的时效性。此外，Hadoop所需软件为开源软件，并能够很好的支持商用硬件从而客运很好的控制成本，此外，Hadoop集群还具有故障容错的优点，当一个数据分片发送到某个节点进行计算时，该数据在集群其他节点上会保留副本，即使一个节点发生故障，该策略也能保证该节点数据的副本数据正常处理。　　1

5、.2铁路客票大数据平台数据源　　铁路客票大数据平台主要于历史数据和实时数据两类。历史数据包括互联X订票数据、运能数据以及售票、退票、废票和改签数据。客票系统实时数据包括实时余票数据、实时存量数据以及取票轨迹数据。其中，实时余票数据从互联X售票的余票查询集群获得，实时存量数据和取票轨迹数据从铁路局中心的客票系统获得。　　客票历史数据和客票系统实时数据通过ETL服务，进入铁路总公司营销数据仓库，通过数据建模组成数据集市提供报表、查询应用等服务;同时上述数据也进入Hadoop平台的HDFS，数据提供Hbase和Hive两种访问方式。　　在票额预分应用服务层中，由客流预测应

6、用服务器从Hbase中提取预测需要的样本数据，应用MapReduce实现客流预测算法，以实现客流预测结果。　　客流预测结果通过铁路总公司客票系统服务器实现往18个铁路局(公司)分发。各铁路局客票系统服务器上部署预测执行子系统，将预测结果与席位实时存量数据结合生成预分方案，对铁路局中心席位库进行预分操作。　　2基于客票大数据平台的票额预分系统　　各铁路局售票历史数据通过传输软件进入铁路总公司营销系统，实时售票数据通过数据同步技术进入到铁路总公司营销系统，另外，来自于互联X售票查询集群的余票相关数据也进入到营销数据库，多个渠道的数据形成所需分析的数据源，通过Hadoop

7、平台ETL装置进入铁路总公司营销数据仓库，在客流预测子系统中进行预测并且形成预测数据进入票额预分执行子系统，票额预分执行子系统形成预分方案通过传输下发到各铁路局形成预分方案，通过票额预分执行子系统作用于席位库，对生成的初始票额进行预分。在各铁路局通过票额预分优化子系统对预分效果进行实时反馈，形成优化方案供铁路局客运决策者进行调整，实现智能调整流程。　　2.1客流预测子系统　　客流预测子系统是该系统的核心系统。历史数据是对未来计划预测的重要依据，有效数据量越大、越全面，得到的预测结果也会与实际更为接近。目前，文献中最常见的客流预测方法是外推法，该方法有很多成熟的模