移动通信网络中大数据处理关键技术研究.doc

《移动通信网络中大数据处理关键技术研究.doc》由会员上传分享，免费在线阅读，更多相关内容在应用文档-天天文库。

1、移动通信网络中大数据处理关键技术研究摘要：社会的发展以及人们生活水平的提升使得移动通信网络的应用范围得以大范围推广，并且伴随着社会对移动通信网络需求的增强，大数据处理技术的应用就应运而生了，本文就此展开论述。关键词：移动通信网络；大数据处理；技术分析伴随着我国综合国力的增强，科技水平也得到了进一步增强。计算机技术作为新时代的重要基础技术，其应用范围的扩大，在一定程度上促进了信息技术的腾飞发展。伴随着日渐庞杂的数据规模，使得大数据处理技术应时代而生。同时移动通信网络技术的发展，极大的方便了人们的工作和生活。为了满足人们日益增长的通信需求，移动通信网络也需要具备更加有力的数据处理能力和处理速度。1

2、大数据技术概述3现阶段，我国数据的发展主要包括以下几个阶段：第一，被动产生阶段。伴随着数据库的出现，其在规范社会数据方面意义深远。不过该阶段数据库的作用相对较为被动，其服务的对象主要为政府、大型企业等，诸如银行以及超市等主要进行经营活动而产生的数据交易记录；第二，主动产生阶段。伴随着互联网技术的腾飞发展，社会经济活动日渐频繁，相应的也会产生大量的数据信息。同时在这大量的数据信息中包含着大量的用户原创性信息内容，其主要借助QQ日志、微博、博客以及微信等方式发布到网络上。此外智能化电子产品的诞生，为人们发布这些原创信息提供了便利。因此，该阶段所产生的数据信息量不仅数量巨大，且多是主动产生的。第三，

3、自动产生阶段。随着大数据时代的到来，使得数据开始进行自动产生。主要原因在于移动通信网络和物联网之间得到了有效融合，从而推动数据自动产生，并直接推动者大数据时代的到来。大数据技术主要具备如下几个特点：第一，需要处理规模相对较大的数据。大数据技术通常需要处理PB级甚至是EB级的数据量。第二，数据非结构化。在大数据时代，非结构化的数据迅速增加，高达数据总量的80%左右。第三，多源异构。由于基于物联网环境下，大数据多运用传感器、移动设备等异构终端来进行数据的采集，这样很容易导致数据出现多源异构特点。第四，数据处理的实时性。生活节奏的变快使得人们需要快速处理各种信息数据，因此在线实时处理数据则是大数据时

4、代的另一重要特点。2大数据处理的关键技术在移动通信网络中，尤其是物联网中，很多终端设备都是处在无人监控状态下，加之这些终端设备所处环境大多较为恶劣，因此在物联网进行数据采集时，往往会出现很多错误，因而收集到的原始数据就缺乏可靠性，譬如采集的一些数据会和实际产生一定误差，一些数据收集不完整，又或者是一些数据是无关多余的。因此，这就需要通过各种方式来提取所需的数据。就当前来看，有许多数据清洗技术，然而这些数据只适用于较强结构化的数据，大数据又是非结构性，因而并不能起到很好的作用。而且利用该技术也无法处理大量数据，这就难以体现大数据的实时性。因此，在大数据清洗技术的研究方面还需要进一步研究。大数据有

5、非常多的来源，将收集到的各方数据融合在一起对于数据分析相当重要。数据融合就是收集到的数据源是不一样的，这些数据要通过不同表象来表达实体，这就需要将数据转换成为对同一个表象的表达，减少相关数据产生冲突的过程。在移动通信网络当中，数据的多源性比较普遍，因而对数据进行统一十分必要，让各数据之间产生关联。这就要使结构化和非结构化数据发生关联，再以数据融合来提取关键数据。经过一系列处理之后，就要分析所获得的大数据，并挖掘出新的数据。要将移动通信网络中的大数据分析和挖掘出来就要从数据表示和存储两个方面给予充分考虑。其中，要借助先进的挖掘工具，并改善数据开发环境。另外一项大数据处理关键技术是利用可视化来进行

6、数据分析。众所周知，移动通信网络有着十分庞大的数据量，其挖掘结果也是大数据，通过可视化分析这些大数据可以让人们对这些数据更加容易的理解，进而更深入来分析这些数据；并且对数据进行可视化分析，能够促进人机交互的开展，利用人机交互来处理大数据可极大的提升数据处理能力和工作效率。当然，移动通信网络当中大数据的处理不仅仅局限于上述挑战，安全问题也是大数据处理所面临的重要问题，因此需加强数据管理，不断提升数据处理技术水平，最终实现大数据有效管理。3云计算3经分析可以看出，移动通信网络大数据处理有两大趋势，主要是数据量骤增以及分析深度加剧。这对于移动通信网络大数据的处理来讲无疑是一大挑战。而云计算的出现则让

7、移动通信网络大数据处理有了新的思路。2004年，Google就提出了MapReduce技术来作为处理大数据分析和处理的计算模型，此举一出立刻引起了广泛关注。MapReduce技术包含了三个层面，即分布式文件系统、并行编程模型以及并行执行引擎。MapReduce技术的出现引起了各方面关注，而在运行中，慢慢发现其很多不足之处，譬如不支持Schema、没有存取优化以及依靠蛮力来处理数据等等。针对MapR