基于大数据的计算机信息处理技术

《基于大数据的计算机信息处理技术》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、基于大数据的计算机信息处理技术　　摘要信息技术的快速发展，使得现代社会信息化进程不断加快，与此同时，数据的爆炸式增长也给计算机信息处理技术的发展带来了一定的挑战。传统的计算机信息处理技术越来越难以满足人们的需求，因此，为了更加高效的处理海量数据信息，对计算机信息处理技术进行改革势在必行。本文从大数据和计算机处理技术的基本理论概述出发，对当前的计算机信息处理技术提出几点建议。　　【关键词】大数据存储技术安全性　　在信息化时代的大背景下，利用计算机进行数据的处理和传播已经愈加普遍，数据的爆炸式增长带来的大数据环境也对计算机数据的处理技术提出了更高的要求。在这样的环

2、境要求下，计算机作为一种信息处理的平台，其所提供的信息产生、信息搜集、信息存储等信息处理方式也应为信息时代社会经济的快速发展而作出变革。　　1大数据的基本概述和特点　　1.1大数据基本概述　　大数据，又称为巨量资料，“大数据”这个概念从其最早被麦肯锡公司提出以来，其含义已经随着信息化时代的不断发展而不断演化。如今大数据主要是指无法在一定时间内使用常规工具进行数据的存储、处理等操作的数据集合。　　随着大数据的概念越来越多的被人们所提及，大数据的应用越来越广。在电子商务，物流配送等领域，大数据的应用不断深入，利用大数据进行协助发展的领域也在不断扩大。“大数据将会对

3、人类未来社会的各领域产生巨大的影响”的观念正在不断深入人心，在可见的未来，大数据及其相关技术将帮助人类在信息时代革命的路上迈出坚实的一步。　　1.2大数据的基本特点　　根据IBM提出的大数据的5V特点：Volume（大量）、Velocity（高速）、Variety（多样）、Value（低价值密度）、Veracity（真实性）。笔者将大数据的特点归纳为三点，　　（1）数据体量巨大。随着人们生活水平的日益提升，生活中大量数据不断产生，以往这些数据因为信息传播载体的限制并没有被有效记录，现如今这些数据可以被不断记录下来，数据的量级也逐渐提高；　　（2）数据类型繁多，

4、人们的工作、学习、生活方式越来越信息化，数据从结构化和半结构化的原始数据的基础上又发展出了许多其他数据存储结构；　　（3）数据产生速度快，以中国股票市场为例，股票市场中上千只股票每3秒更新一次股票价格相关数据，而在高频交易中股票的更新速度必须要低于计算机的计算速度来为交易进行决策；　　1.3计算机信息处理技术的基本情况　　计算机信息处理技术的目的是为了将数据进行统一管理，主要是将数据的采集、存储、传输和处理等各种技术相结合，并运用计算机作为平台进行处理。　　而在大数据时代下传统的计算机信息处理技术越发显得不合时宜，由于对计算机信息处理技术的要求越来越高，特别是

5、对大数据处理这一方面的要求呈指数式的提升，计算机信息处理技术在向海量化、实时化方向上发展的需求也越来越迫切。　　2大数据时代下计算机信息处理技术的基本情况　　2.1数据采集　　在大数据时代下，在进行信息数据处理前，必须保证数据采集的准确性、合理性才能进行有效的数据处理。通常，数据的采集一般采用系统日志采集法（如Hadoop的Chukwa，Facebook的Scribe）、网络数据采集法（编写网络爬虫等）来获取非结构化数据、调用专业数据接口以获得相应的专业数据。　　2.2数据存储与处理　　由于处理大数据对数据处理的实时性要求很高加，因此在处理数据的过程中需要非常

6、高的数据读写速度，对于一些实时性要求较高的数据或者中间结果一般存储于熟?x较快的内存或者硬盘中，对于海量数据的存储也催生除了许多新型的数据存储方案，如mangoDB这种NoSQL的数据库在大数据处理中就表现良好。在数据的处理方面，为了更快的处理海量数据，一般的大数据处理框架都采用Map/Reduce这种计算模型。　　2.3数据的安全性　　数据的安全一方面是数据本身的安全性。即数据的加密，加密体系的选用，数据存储方式都将影响到数据本身的安全性。另一方面是数据传输过程中的安全性，在数据的传输过程中应有一套合理的传输方式。除此之外，在大数据时代的背景下，获得的数据本

7、身就是需要我们注意的，因为处理的数据本身是一些个人的隐私信息或一些机密信息，对于这些信息的保密处理，也是需要仔细斟酌的。　　3大数据时代下计算机信息处理技术应当注意的问题　　3.1应当选用合理的框架与计算工具　　与传统的计算机信息处理对象不同的是，大数据时代的信息有着体量巨大、种类繁多、处理速度要求高等特点，对于这种数据，使用个人PC机进行处理显然不再合适，甚至使用高性能服务器都难以承受处理所带来的巨大压力，在这种情况下，使用基于分布式架构进行设计的工具对大数据进行处理就成了主流方式。就当前计算机信息处理技术水平而言，在短时间内对巨和量信息进行处理的框架较为成

8、熟的有Apache基金会所开发的分布式