[精品]大数据时代电信运营商数据管控研究

《[精品]大数据时代电信运营商数据管控研究》由会员上传分享，免费在线阅读，更多相关内容在工程资料-天天文库。

1、大数据时代电信运营商数据管控研究大数据时代电信运营商数据管控研究【摘要】大数据对电信运营商现有的数据管控体系提出了新的挑战，企业级数据管控是解决当前数据“错、重、缺、慢、乱”问题的有效手段，结合现网数据管控的实际情况，对运营商数据管控体系进行探讨。【关键词】数据管控元数据数据质量数据生命周期数据安全中图分类号:TP315文献标识码:B文章编号:1006-1010(2014)-13-0010-051引言在大数据时代，数据是企业的核心战略资产，随着电信运营商大数据平台建设和应用的推广,大数据的“5V”典型特征(Volume、V

2、ariety、Velocity>Veracity、Value)对现有的数据管控体系提出了新的挑战[1-2],数据不准确、同一数据在多个系统或应用中重复出现且不一致、数据定义或数据项缺失、数据属性不完整、数据生成不及时、数据含义不清晰等“错、重、缺、慢、舌L”问题逐渐暴露，其原因主耍来自以下4个方面：(1)在信息体系方面，元数据平台能力显性化不足,数据生命周期管理分散。市于运营商大数据平台的数据源来自于各个分散的内部IT系统、业务平台、通信网络、互联网和外部合作伙伴，元数据管理不全而且未平台化，各数据源的系统信息架构不一致，

3、数据模型不固化，数据标准不统一、不清晰，指标口径存在差异，数据加工规则、映射关系不准确。(2)在技术实现方面，缺乏贯穿数据流转全程监控平台，主要依赖各分包厂商自行保障数据质量，技术体系分散，无法衔接。总部对各省业务系统(数据源)环境了解不全面；数据采集过程存在数据传输延迟、数据传输失真的现象，缺乏数据稽核规则、数据异常处理规则；数据加工过程中，数据处理方法不合理，数据整合能力不强，数据服务缺乏节奏控制；数据发布后,缺少监控及管理措施；此外，还缺乏有效的数据备份恢复机制；没有平衡好数据安全、生产效率和使用方便之间的矛盾，对敏

4、感数据的定义、范围也有待规范化。(3)在流程执行方而，缺乏企业级数据质量保障流程及考核机制，各厂商间的数据质量管理项目流程缺乏协同。数据采集过程中，缺失数据录入审核流程，存在部分省份人为调整数据的现象；数据流转的流程不畅，部分省份数据上传流程有问题；数据加工过程屮，缺乏数据稽核流程，数据维护、调整流程执行力不强，监控不严格。（4）在管理措施方面，缺乏企业级数据管控组织、责任和培训体系。缺乏人员奖惩机制，部分省份贯彻规范不力；人员培训不到位，基层人员缺乏相关技能，各省支撑能力存在差异。为解决这些问题，运营商亟需完善其数据管控

5、平台，扩展数据管控能力，深入前移数据管控节点、完善数据管控范围，建立起一套企业级的数据管控体系，实现企业数据标准刚性落地，加强数据生产、加工、使用全过程的透明管控，有效预防、监控、分析和处理数据质量问题。2运营商企业级数据管控体系电信运营商的企业级数据管控体系目标是实现智能化、自动化的数据管控，从半产源头进行监控并提升数据质量，实现企业数据标准刚性落地、数据生产加工全过程透明管控，并具备质量问题预测能力[3-5]o数据管控体系可以分为管理域、核心域和支撑域这3个域，各个领域Z间既相互联系，乂具有和对的独立性，如图1所示。其

6、中，管理域实现数据管控组织、岗位、流程的管理和考核；核心域实现数据质量问题的预防、监控、分析和数据问题处理；通过支撑域完成底层技术实现，支撑域实现数据标准管理与元数据管理，是数据管控平台的底层技术支撑。对电信运营商而言，数据质量问题是最大的痛点。数据质量与其他管控领域的互动最为密切，因此建议运营商将数据管控以数据质量为中心。数据质量管理的目标是实现从数据牛成到数据加工及应用全过程的透明管控，预防、监控、分析、处理数据质量问题。数据质量管理由数据质量监控、数据质量问题分析和数据质量问题处理构成。（1）数据质量监控主要包括：数

7、据管控平台与纳管系统间的接口传输和采集监控，实现接口文件级校验、接口文件记录级校验和接口及时性监控，对接口上传数据是否及时（包括迟传或者未传）、接口上传数据是否重传、接口上传数据重传次数等进行监控；指标的逻辑性、完整性、一致性和及时性检查以及波动监控；统…编码变更监控、编码映射关系变更监控；模型变更监控和模型一致性检查；实体变更监控、实体完整性监控，监控各个业务系统（特别是已经正式上线运行的业务系统）数据库的实体对象及其变更情况；数据加工、数据稽核、数据发布和页面监控等。（2）数据质量问题分析主要包括：数据质量问题自动定位

8、，根据数据加工过程链路关系图、接口采集链路关系图、数据稽核链路关系图（按血缘关系配置）、编码或实体链路关系图（按血缘关系配置），设置重点监控节点，并对重点监控节点进行监控预警规则配置，对出现质量告警的节点进行数据质量状况分析以及血统分析，找到问题出现的根源节点，实现对数据质量问题的快速定位。数据质量问题