浅谈大数据时代的挑战与应对策略

《浅谈大数据时代的挑战与应对策略》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、浅谈大数据时代的挑战与应对策略摘要：随着数据量的飞速增长，大数据时代已经到来。文章介绍了大数据的特征，描述了大数据带来的挑战，概述了针对大数据管理的应对策略。关键词：大数据时代；信息安全；策略中图分类号：F49大数据是当下最热门的技术词汇，它的出现是一场颠覆性的技术变革，对国家、企业和个人都将产生巨大影响。[1]2013年被业界称之为大数据元年。国际数据公司（IDC）监测，大数据在2013年增长幅度巨大。什么是大数据？大数据是指利用先进的技术对海量数据进行捕获、存储、分析和再提取，这些原始数据具有复杂、速度快和快速变化

2、的特点。当前，许多国家正在对大数据的研究寻找更优的解决方案，美国政府投入数百亿美元用于该项研发，标志着在美国大数据已经上升至国家战略。1大数据的特点1.16浅谈大数据时代的挑战与应对策略摘要：随着数据量的飞速增长，大数据时代已经到来。文章介绍了大数据的特征，描述了大数据带来的挑战，概述了针对大数据管理的应对策略。关键词：大数据时代；信息安全；策略中图分类号：F49大数据是当下最热门的技术词汇，它的出现是一场颠覆性的技术变革，对国家、企业和个人都将产生巨大影响。[1]2013年被业界称之为大数据元年。国际数据公司（IDC

3、）监测，大数据在2013年增长幅度巨大。什么是大数据？大数据是指利用先进的技术对海量数据进行捕获、存储、分析和再提取，这些原始数据具有复杂、速度快和快速变化的特点。当前，许多国家正在对大数据的研究寻找更优的解决方案，美国政府投入数百亿美元用于该项研发，标志着在美国大数据已经上升至国家战略。1大数据的特点1.16数据量巨大。大数据通常是指10TB（1TB=1024GB）规模以上的数据量。[2]之所以产生如此巨大的数据量，一是由于各种信息系统的使用，使得我们能够提取出抽象的数据，这些数据都会被存储；二是由于语音视频设备的使

4、用，使人们能够全时段的使用，这些数据文件都比较巨大，造成数据量的成倍增长；三是由于移动智能设备的普遍使用，数据量的增幅就明显增大了。1.2数据种类多。随着互联网推广，数据类型既包括数据库的表类型，还包括未加工的、半结构化的数据，例如网页、视频、音频、文档等。1.3数据更新快。对于海量数据快速动态的变化，传统的系统难以快速处理数据的获取、存储以及挖掘其中的有效信息。这时就必须对传统的方法加以改进。1.4价值密度低。在没有索引的数据集中提取有用的数据，获取的难度非常大。以视频为例，在几十GB的数据仅有几秒钟是有价值的。2大

5、数据时代面临的挑战2.1数据量增长挑战数据存储能力。数据量的过快增长要求使用专门的数据库技术和大量的数据存储设备。传统的数据库关注关系型数据，优点是数据的一致性和容错性非常好，缺点是在数据的扩展性方面显得不足，不能有效存储文档、音视频等非结构化和半结构化的数据。目前，数据存储能力的增长远远赶不上数据的增长，设计最合理的分层存储架构成为解决数据存储的关键。2.26数据类型繁多挑战数据挖掘能力[3]。数据类型的多样化成为传统的数据挖掘算法的瓶颈。传统算法需要一次性把数据导入内存，而太大的文件则做不到。要想改变这种状况，需要

6、对现有算法、数据结构等进行改进。2.3获取有用信息的速度挑战数据处理的时效性。随着数据规模的不断增大，传统模式下分析过程的时间相应地越来越长，而大数据条件下对信息处理的时效性要求越来越高。传统模式下处理大数据时，需要的资源呈指数增长，现实中难以接受。简单有效的人工智能算法和新的问题求解方法成为应对速度挑战的关键。2.4数据在边界外传播挑战信息安全。大数据在不同的网络之间传播，一些敏感数据、隐私数据成倍增长，信息安全问题应运而生，对国家安全和个人的利益造成了严重的影响。如今，犯罪分子更容易通过网络犯罪，而防范却很难。在应

7、对这些问题的时候，需要有数据存储的安全措施，以及对数据访问的身份认证机制。2.56大数据时代需要人才资源。人才资源不足会成为大数据发展的一个阻力。从大数据中获取价值需要有三类人才队伍：一是数据库底层设计方面的人才；二是掌握基础算法，并对数据进行分析方面的人才；三是实现应用领域的人才，能够对某类应用做统计并预测趋势。此外，大数据由于覆盖面比较广，这些人才需要有综合的能力。他们需要了解行业，了解技术的各个层面，以综合的视角制定确实可行的方案为目的，还必须具有统计学背景，并对数据管理有丰富经验；另一方面，大数据方案的实现，必

8、须由技术专家来完成，技术专家的能力也直接决定了大数据方案的深度和广度。3大数据时代的应对策略应对大数据管理可以从数据存储、数据分析、数据安全的角度入手。3.1存储管理应对策略。（1）数据分类。大数据既包含传统的结构化数据（如日常业务数据等），又包含非结构化数据，而且非结构化数据占有更高比重。非结构化数据包含了各种视频数据、相关业务