大数据之路机遇与挑战并存

《大数据之路机遇与挑战并存》由会员上传分享，免费在线阅读，更多相关内容在工程资料-天天文库。

1、大数据之路:机遇与挑战并存随着生活越来越丰富，大数据也变得越来越难以处理；同时因为数据体积增大、数据类型繁多，技术人员在分析过程中不得不克服大量的挑战和障碍。本文将讨论为什么数据会变得越来越复杂及难以管理，以及在我们分析、整合及存储这些数据时又会面临哪些挑战及障碍，当然还有大数据又会给未来带来什么样的机遇。大数据确实很大并且很复杂大数据究竟有多大举个简单的例子，去参加一个小朋友的生日派对。在出发时，你会发送一个tweet说明一下，数据随之产生。车在半路上，停车加油，付款时果断产生了数据。在超市购买生日卡片，扫描购物卡、结账同样产生了数据。在生日派对中，拍个照

2、片，录段视频，当你在Facebook、Flickr以及Youtube上发布时同样产生了数据。在派对过程中发送的消息，同样产生了数据。贯穿整个过程，你的手机因不停的发送GPS位置而产生数据，你的车因为不停的追踪燃耗而产生数据。由此可见，我们在日常行为活动中产生了大量的数据。通过IBM了解到，我们每天大约建立2.5quintillion（10000003）字节的数据，而在过去两年建立了总数据量的90%，同时数据体积以指数的方式增加。随着公司数据捕获能力的增强、多媒体变得流行、社交媒体会话的增加以及使用互联网做更多的事情，数据的体积也不可思议的速度激增。大数据究竟

3、有多复杂maintenancemeasures,thereisabigsecurityrisk,managementhashadagreatimpacttothecity.3.1-8busterminalstationstatusinYibincitylayouts(4)hoursofoperationmostofYibincitybuslinesin5:30-6:20,andbasicallymeettheYibintravelneeds.Bus大数据是复杂的。之所以复杂因为数据的多样性，其中包括结构化数据和非结构化数据。大数据的复杂还在于交付和使用的速度

4、，比如“实时”。并且，大数据的复杂还在于数据的体积。以前家用存储说的是MB和GB，现在讲的已经是TB了，而企业早已跨入PB单元。大数据市场大数据增加了信息管理业务的需求，比如SoftwareAG、OracleCorporation、IBM、Microsoft、SAP、EMC和HP已经支付150亿美元给专门从事数据管理和分析的软件公司。在2010年，这个产业自身的价值已经超过1000亿美元，并以每年10%的速度增长着——比整个软件业务快2倍。发达经济体让大数据密集型技术得到更广泛的使用。世界范围内，有46亿的移动终端在产生数据，有10到20亿人在访问互联网。在

5、1990到2005期间，超过10亿人进入了中产阶级，更多富起来的人同样导致了信息的增长。在1986年，世界电信网络有效的信息交互能力为281PB，1993年为471PB，2000年为2.2EB，2007年为65EB，而在2013年，预计的通信总量为667EB。大数据分析大数据需求在可容忍时间内对大体积数据进行处理特殊的技术，大数据分析实践者通常不喜欢共享储存，更倾向于直接连接存储（DirectAttachedStorage，DAS），在并行的内部处理节点中混合使用了高速SSD与高容量SATA磁盘。而当下的共享储存架构SAN及NAS已被扣上缓慢、复杂及昂贵的头

6、衔，该类型架构完全不符合现下大数据技术在性能、商用服务器及低成本上的标准。实时及近实时的信息交付已成为大数据分析的界定特征，尽可能的避免延时同样成为大数据技术的首要挑战之一。数据更希望被存储在内存中，而不是其他终端FCSAN连接的机械硬盘上。同样在大数据情景下，SAN模式下对分析应用程序的要求上比其它类型存储要高得多。当然，共享存储在大数据分析情景下也有着自己的优势，但是自2011年以后，已不为绝大多数大数据实践者所采纳。大数据挑战及障碍鉴于复杂性，大数据处理面临着一系列挑战：1.在类似文本或视频的非结构化数据上，我们要如何去理解及使用。2.我们该如何在数据

7、产生时捕获最重要的部分，并实时的将它交付给正确的人。maintenancemeasures,thereisabigsecurityrisk,managementhashadagreatimpacttothecity.3.1-8busterminalstationstatusinYibincitylayouts(4)hoursofoperationmostofYibincitybuslinesin5:30-6:20,andbasicallymeettheYibintravelneeds.Bus3.鉴于当下的数据体积和计算能力，该如何储存、分析及理解这些数据。4

8、.缺乏人才当下讨论最多的问题就是缺乏大数据人才，值得