沙里淘金拥抱大数据

《沙里淘金拥抱大数据》由会员上传分享，免费在线阅读，更多相关内容在工程资料-天天文库。

1、沙里淘金拥抱大数据——POSTEDBYADMINONFEB1,2013INFLOWS39

2、0COMMENTS关于大数据仿佛突然间，我们吃惊地发现，我们的PC、手机、平板都已经配备了几十GB到几百GB，甚至TB级别的存储空间，并且它们每天还在产生着大量有用的或无用的数据。与个人设备类似，我们正身处的时代，也正在被大量数据淹没，根据IDC今日发布的数字宇宙研究报告（DigitalUniverse）显示，在接下来的8年中，我们所产生的数据量将超过40ZB(泽字节)，相当于40万亿GB，估计是地球上所有海滩上的沙粒数量的57倍。忽如一夜春

3、风来，千树万树梨花开，所有人都在讨论大数据，从Google到Amazon到IBM到EMC到Intel到阿里巴巴，毫无疑问，我们正在走进大数据的时代。何为大数据？对于“大数据”（Bigdata）研究机构Gartner给出了这样的定义。“大数据”是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。大数据有什么特点？大数据具有4个“V”的特点：第一，数据体量巨大，从GB级别跃升到TB、PB、EB、ZB级别；第二，数据类型繁多；第三，产生速度极快；第四，价值密度低。业界1将其归纳为4个“V”—

4、—Volume，Variety，Velocity，Value，如何以快速的方法从海量数据中获取到价值，是应对大数据的最大的挑战。如何应对大数据？为了应对大数据特点的前三个“V”，许多IT业界巨头如IBM、EMC、Microsoft等都正在努力探索，同时如Splunk、Hadoop等新晋势力也通过实践提供了许多有效的解决方案：急速膨胀的数据体量即将超越传统数据库的管理能力，构建分布式数据处理系统提供并行化计算能力能够有效应对大数据体量巨大（Volume）的问题；经典数据库技术并没有考虑数据的多类别问题，关系型数据库在设计的一开始是没

5、有考虑非结构化数据的，因此为了解决大数据第二个“V”的特点，需要采用新型的非结构化数据库技术；在传统场景下，从关系型数据库中获取信息用于分析往往遵循一定频率，但现在通过新型的快速索引技术可以有效应对大数据产生速度极快（Velocity）的特点。沙里淘金，拥抱大数据英特尔亚太研发有限公司总经理何京翔博士表示：“信息数据就是21世界的石油，石油只有经过开采、提炼最后变成汽油等化学品才能够体现出价值。大数据与石油一样，仅仅存储而不进行分析和处理是体现不出它的价值的。”是的，大数据的价值需要分析处理才能体现，但挖掘大数据的价值却似沙里淘金

6、。譬如视频监控，每天产生24小时的视频数据，绝大部分都没有利用价值，可能是几秒镜2头捕捉到某罪犯体貌特征，对公安部门而言就是弥足珍贵的。而为了这几秒钟，则必须要保存全部的24小时。这就是大数据特点的最后一个“V”，价值密度较低（Value）。从大数据的沙滩中提取出有价值的金子，自然不是件容易的事情，这里有一个例子：由于Google提供大量在线的软件应，当用户免费使用这些产品的同时，Google也把用户的个人行为、喜好等大量信息进行了收集，因此Google对用户的理解就越来越深入，广告越来越精准，广告的价值也越来越高。大数据甚至能帮

7、助我们获得预知未来的能力：阿里巴巴的马云曾经成功预测2008年经济危机，原因是2008年初,阿里巴巴平台上整个买家询盘数急剧下滑，欧美对中国采购在下滑，于是他提前半年时间从询盘上推断出世界贸易发生了变化。以上两个都是从数据的沙滩中提炼出金子的典型例子，可是这里有个问题，并不是每个企业都是Google和阿里巴巴，沙里淘金的成功经验也很难直接从Google和阿里巴巴身上套用每一个企业和个人身上。那么对于我们自身感兴趣的“金子”，是否就没有可靠成熟的方法把它从数据沙滩中淘出来？什么才是金子？随着市场竞争激烈程度的加剧，企业能否利用数据沙

8、滩中的“金子”做出准确并且有前瞻性的决策正成为提升竞争力的关键。淘金开始之前当然需要鉴定、识别究竟什么类型的数据及分析结果才能算得上是有价值的“金子”，然而确定企业的“金子”本身就是一个广泛而深奥的命题，对于不同行业及企业而言“金子”也不尽相同，限于篇幅和读者的知识水平，本文也只能结合一些互联网行业分析报告概括性地描述几个传统行业的3特点，以及它们各自关注的“金子”。零售行业零售行业的业务特点主要包括两方面：一方面零售行业需要及时响应客户需求，实现精准营销；另一方面零售行业需要增强产品流转率，实现快速营销。这就映射出零售行业对于大

9、数据分析的显著需求：一、精准营销要求零售企业对消费者消费行为以及可能影响消费行为的外部因素进行数据分析–消费者消费行为包括对各类商品的消费数量及趋势的分析，也可以结合企业自身广告投入、定价等因素，而有可能影响用户需求及消费行为的外部因素可能包括节假