概述移动通信网络中大数据处理的重要技术

《概述移动通信网络中大数据处理的重要技术》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、概述移动通信网络中大数据处理的重要技术米尔阿力木江刘信（国网新疆电力公司信息通信公司新疆乌魯木齐830000）摘要；近年来，移动通信网络发展迅速。目前，移动通信网络已经覆盖世界大部分国家，网络的数据能力也在不断加强，如现在多数经济发展较快国家已经建成了只有较强数据通信能力的第三代移动通信网络，正在研宄并初步试用的第四代移动通信网络将具备更强的数据通信能力；同时，移动通信IM络运营商在大规模信息传输网络的方面积累了较为丰宮的运营管理经验，不断拓宽了移动通信网络的应用领域和应用范围。关键词；大数据；移动通信网络；云计算引言随着移动通信网络的迅速发展，尤其是建立在移动通信网络之上

2、的物联网的发展，数据量以前所未有的速度增加。分布在不同地理位置的传感器，为实时采集各种对象的信息，不断产生数据，长时间积累的数据量极其惊人。大量的移动设备，如移动电话、PDA以及导航设备等，不断采集人员的位置、移动、用户行为信息，这些信息的数据量都达到EB量级以上。大数据的产生给移动通信M络带来了诸多挑战，其中最为重要的是大数据为网络传输带宽带来的挑战，而传输是数据处理过程中关键的环节。一、大数据概念与特点1.1被动产生阶段数据库的诞生促使人类社会数据量的第一次飞跃。在这个阶段，数据库系统主要为政府、大型企业所应用，如超市的销俜记录系统、银行的交易记录系统等。这个阶段数据往

3、往是随着一定的运营活动而产生，数据属于被动产生。1.2主动产生阶段互联网的出现促使人类社会数据量的第二次飞跃，用户原创性内容大量出现在Web2.0之上，微博、博客、QQ日志的出现使得用户自愿产生大量数据，智能手机、平板电脑等移动设备的使用促进了人们在网络上发表自己意见的方便性，这个阶段的数据是主动产生的。1.3自动产生阶段大数据的产生源自于人类社会数据量的第3次飞跃，即数据自动产生方式的出现。这次数据量的飞跃源自于移动通信网络与物联网融合的结果，感知系统的研制，大量传感设备布控在世界的各个角落来监控世界的各种对象。数据以自动的方式产生，这是促进大数据时代到来的根本原因。什么

4、是人数据？0前,学术界还没有一个统一的定义，但是通过对大数据的本质研究，可以抽取大数据的本质特点，具体包括以下几方面：1）数据量大：需要处理的数据量高达PB级，其至是EB级。2）非结构化：非结构化数据在大数据中所占比例增加。美国弗雷斯特研究公司分析师在2010年《政府今天所面临的挑战》报告中预计：“数据将会在今后的5年内增加8倍，其中非结构化数据在各组织机构的数据中所占份额超过70%〜80%,并且这些非结构化数据的增长速度是结构化数据的10〜50倍。”3）多源异构：以物联网为例，大量异构终端如传感器、移动设备和RFID等在不断地采集数据，导致采集到数据具冇多源异构性。4）实

5、吋性：数据需要被快速地处理，尤其是在欺诈检测、大规模在线监测与检测中；需要做到数据的实吋分析和处理。二、大数据处理的重要技术大数据的4个特点分别为数据的传输、存储和分析带来巨大的挑战。大数据处理一般需要经过清洗提取、集成、分析挖掘和交互展示等几个重要步骤。在移动通信网络中，尤其是物联网当中，大量的终端设备在无人工监控状态下工作并且很多终端工作环境极为恶劣，这就导致物联网采集的数据中含奋各种各样的错误和误差，原始数据的可靠性低，主要表现为部分数据的不正确性、不精确性和不完全性，同吋大量数据存在冗余。因此，有必要通过数据清洗技术、去冗余技术提取移动通信网络中有价值的数据。虽然0

6、前己经存在大量的数据清洗技术，然而这些算法主要针对传统的结构化数据而设计，面对非结构化的人数据而言，这些技术并不适用。移动通信网络采集和传输的数据具有多源异构性，对异构数据进行集成，对于后期的分析与挖掘具有十分重要的意义。数据融合是指将来自不同数据源的表示同一实体的不同表象融合至一条单一的表象，并解决可能存在的数据冲突的过程。针对移动通信网络中的大数据的多源异构性，大数据的异构融合需要涉及实体统一、数据冲突解决和数据关联几个问题。尤其是数据关联，将传统的结构化数据与移动通信网络中采集到的大量非结构化数据进行有效关联，通过融合提取关键信息。在经过对数据进行清洗、提取和集成融合

7、之后，需要对移动通信网络中采集到的大数据进行分析和挖掘。移动通信网络中人数据的分析和挖掘主要涉及到数据的表示、存储两个基础问题，冋吋高效地挖掘分析工具和开发环境对于移动通信网络中大数据的挖掘具有至关只要的意义。可视化分析对于大数据处理具有关键作用，一方面可以通过可视化分析对人数据本身及大数据的分析挖掘结果进行展示，有利于人们的理解和进一步分析；另一方面，可视化分析技术有助于进行人机交互，实现人机交互处理，增强大数据分析处理能力。其中，原位分析、数据移动传输和网络构架、不确定性量化对于移动通信网络中大数据的可视化分析