数据库新技术专题论文-大数据

《数据库新技术专题论文-大数据》由会员上传分享，免费在线阅读，更多相关内容在工程资料-天天文库。

1、Qp］丈厚题目关于大数据的初步认识学院计算机学院专业计算机科学与技术学生姓名学号年级指导教师二0—四年十月十九口关于大数据的初步认识计算机学院学生：指导老师:［摘要］大数据技术(bigdata),或称巨量资料，指的是所涉及的资料量规模巨大到无法通过目前主流软件工具，在合理时间内达到撷取、管理、处理、并整理成为帮助企业经营决策更积极目的的资讯。最早提出大数据时代到来的是麦肯锡：“数据，已经渗透到当今每一个行业和业务职能领域，成为重要的生产因素。人们对于海量数据的挖振和运用，预示着新一波生产率增长和消费者盈余浪潮的到来。”进入

2、2012年以来，大数据一词越来越多地被提及与使用，人们用它来描述和定义信息爆炸时代产生的海量数，大数据时代对人类的数据驾驭能力提出了新的挑战，也为人们获得更为深刻、全面的洞察能力提供了前所未有的空间与潜力。在大数据时代，数据的采集分析成为社会管理、政府和企业决策、商业营销、产品研发创意、疾病预防的重要凭借和有效途径。一种以数据为中心，重视统计、量化和数据相关性而非理念演绎、概念推理、逻辑关联的新型文化范式势必崛起。大数据潮流为经营的横向跨界、产业的越界混融、生产与消费的合一提供了得天独厚的条件，也势必促进历史上多种文明形态

3、的混溶整合。［关键词］大数据；云计算；数字经济；移动互联网1.大数据的基本概念1.1大数据的定义对于“大数据”(Bigdata),研究机构Gartner给出了这样的定义：“大数据”是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。大数据分析常和云计算联系到一起，因为实时的大型数据集分析需要像MapReduce—样的框架来向数卜、数百或甚至数千的电脑分配工作。大数据分析相比于传统的数据仓库应用，具有数据量大、查询分析复杂等特点。1.2大数据的特征大数据的特征可归纳为4个"V”：

4、量Volume,多样Variety,价值Value,速Velocity0或者说特点有四个层面：第一，数据体量巨大（Volume）。大数据的起始计量单位至少是P（1000个T）、E（100万个T）或Z（10亿个T）。截至目前，人类生产的所有印刷材料的数据量是2OOPB（1PB=21OTB）,而历史上全人类说过的所有的话的数据量大约是5EB（lEB=210PB）o；第二，数据类型繁多（Variety）。这种类型的多样性也让数据被分为结构化数据和非结构化数据。相对于以往便于存储的以文本为主的结构化数据，非结构化数据越来越多，包括

5、网络FI志、音频、视频、图片、地理位置信息等，这些多类型的数据对数据的处理能力提出了更高要求。笫三，价值密度低（Value）,如何通过强大的机器算法更迅速地完成数据的价值“提纯”成为目前大数据背景下亟待解决的难题。第四，处理速度快（Velocity）。这是大数据区分于传统数据挖掘的最显著特征。其实大数据的4V特征并不能真正说清楚大数据的所有特征，下面这张图对大数据的一些相关特性做出了有效的说明：AISOJ[]KunmMHKSSOCIAL臥COMPLEXSEARCHBIOIOSCAL■iI—ft—J.ANALYTICSa■R

6、MinOUlCAPACITY«・HUNDREDS空=IIDOLS.DISK阙=""川SENSORuM1Y臺SHAREDDgifjwi

7、MOVINGINTERNETiTECHNOLOGIES•盅二?乩蜃AW迸NEEDEDj

8、M[j='-Jess£STORAGE051PARALLEL寿"■HASSMIY■GROWMANAGEMENTwsnisgMmrLLPU仙—狮ONI主_2•大数据的关键技术2・1大数据的分析大数据己经不简简单单是数据大的事实了，而最重要的现实是对大数据进行分析，只有通过分析才能获取很多智能的，深入的，有价值

9、的信息。那么越来越多的应用涉及到大数据,而这些大数据的属性，包括数量，速度，多样性等等都是呈现了大数据不断增长的复杂性,所以大数据的分析方法在大数据领域就显得尤为重要，可以说是决定最终信息是否有价值的决定性因素。基于大数据的基础分析，大数据分析普遍存在以下的方法理论：2.1.1.可视化分析大数据分析的使用者有大数据分析专家，同时还有普通用户，但是他们二者对于大数据分析最基本的要求就是可视化分析，因为可视化分析能够直观的呈现大数据特点，同时能够非常容易被读者所接受，就如同看图说话一样简单明了。2.1.2.数据挖掘算法大数据分

10、析的理论核心就是数据挖掘算法，各种数据挖掘的算法基于不同的数据类型和格式才能更加科学的呈现出数据本身具备的特点，也正是因为这些被全世界统计学家所公认的各种统计方法（可以称Z为真理）才能深入数据内部，挖掘出公认的价值。另外一个方面也是因为有这些数据挖掘的算法才能更快速的处理大数据，如果一个算法得花上好儿年