一种基于大数据平台的移动通信信令系统20151110

《一种基于大数据平台的移动通信信令系统20151110》由会员上传分享，免费在线阅读，更多相关内容在工程资料-天天文库。

1、word专业整理一种基于大数据平台的移动通信信令系统谢识常目录摘要21.背景22.系统框架33.系统关键模块33.1系统采集、解析、存储方式43.2数据的建模设计54．数据处理中的关键技术64.1Hadoop基础64.2基础数据采用Hbase数据库存储74.3汇总KPI数据使用Hive构建数据仓库84.4上层应用查询考虑Impala数据查询工具94.5Spark计算框架的引入114.6硬件架构参考135.结论156.鸣谢15学习资料整理分享word专业整理摘要信令系统是运营商日常运维的重要支撑手段。现阶段数据业务急剧增长，基于传统数据库的信令平台对信令数据的处理越来越困难。本文探讨一

2、种基于大数据平台的移动通信信令系统。先给出系统的主要框架，论述数据处理的流程，已经讨论系统涉及的关键大数据技术，最后给出一个硬件的配置参考样例。1.背景2012年广州在全国率先建设TD-LTE试验网络，2014年广州4G网络正式商用。现阶段数据业务需求猛增、流量急速增涨。移动需要四网协同(WLAN、LTE、3G、2G)，做到集中管理、实时维护网络存在的问题，及时处理网络故障。信令是网络交流的语言，网络的管理与优化需要完善的信令系统的支撑。随着用户、业务、信令数据的急剧膨胀，基于传统数据库的信令系统已经很难满足网络运维优化的实时、存储及分析要求。例如，2015年广州本地信令系统对于4G

3、KPI指标只能做到15分钟粒度的统计，现在客户感知越来越敏感，5分钟内的指标监控能提高网络运维侧响应网络故障与隐患的主动性；此外，随着信令数据膨胀，传统数据库不能做到线性增加，数据库分表、分库操作复杂，存储效率低，广州本地信令系统由于数据库调整造成不可用的时间越来越长；另外，在网络数据的价值挖取当中也缺乏灵活手段，目前只能按几种固定的时空、网元、目的IP等维度的统计。大数据技术的日益成熟，在通信领域运用越来越广。更多运营商开始部署基于大数据平台的信令系统。基于大数据解决方案的信令系统就是在这样的背景下,专门为规划、运维、优化等部门员工提供所需的支撑数据,提供解决方案的综合分析优化平台

4、。对于移动信令分析，大数据首先是面临着越来越多的海量数据挑战；其次，要通过合适的分析处理，从大量数据中分析出工程人员需要的数据，区分出重点数据及非重点数据，分辨出哪些数据是实时需要的，哪些数据是需要存储，为以后工程人员查询所需要的，并形成实时网络性能管理、故障性能告警、客户感知预警、客户投诉处理、市场营销支撑等应用功能及数据模块。本文探讨一种基于大数据平台的移动信令系统。学习资料整理分享word专业整理2.系统框架信令系统通常采取分层结构设计，应用功能松耦合设计，具有优点是缩短应用上线周期，降低开发成本。从下往上分为：采集层、存储计算层、接口层以及应用层。（1）采集层：在移动核心网的

5、主要网络接口部署分光设备，分光器出来的原始信令为原始码流，经由汇聚分流设备后，解析生产原始话单xDR；xDR再经过清洗、抽取、转换操作后入库。采集层可不断扩展，获取更多的数据源。（2）存储与计算层：是整个系统的核心部分，主要解决数据的实时计算、以及xDR话单的长期存储、预统（轻度汇总数据）的生成与存储，其他数据的存储，并通过共享模块，实现数据共享。（3）应用层：可通过多种接口方式，实现与共享层的数据交互。图2.1信令系统分层框架3.系统关键模块应对海量数据的高效处理、存储，多种类型数据的处理学习资料整理分享word专业整理图3.1数据处理流程3.1系统采集、解析、存储方式1、数据采集

6、与解析原始信令由专门的采集解析服务器对原始信令数据进行采集解析；目前广东采取统一的采取汇聚平台。筛选后的原始信令保存在采集机本地存储，建立信令索引，提供信令回放、信令流程查询。解析后的信令形成XDR，送给信令汇总模块进行关联回填和各种维度的KPI预统计。关联回填后的XDR数据以及单用户单业务记录发送到Hadoop集群存储，利用Hadoop并行列存储的特性，容易实现线性扩容。2、数据存储数据加载集群，可实现xDR等文件的临时缓存。对不同数据采取不同存储方式：XDR话单文件，则使用Hbase数据库+HDFS方式存储(当前存两周)；汇总数据，采用MPP数据库长期存储，使用的是Hive/Im

7、pala+HDFS。3、数据装载共享平台前置加载集群，用于接收获取统一采集平台等上传XDR话单文件；通过加载集群，向处理集群提供缓存的原始数据，可用于数据恢复、库外预统；通过加载集群，提供应用层和统一采集平台之间的通道，提供第三方数据接口（简单处理或透传给应用层）。学习资料整理分享word专业整理4、数据处理数据汇总，按照多种维度进行数据汇总提高查询速度，减少存储空间。数据关联处理，多张数据表，多种xDR类型进行联合处理，形成OLAP分析结果数据聚合处理，