如何理解大数据.docx

《如何理解大数据.docx》由会员上传分享，免费在线阅读，更多相关内容在行业资料-天天文库。

1、如何理解大数据大数据（big data），或称巨量数据、海量数据；是由数量巨大、结构复杂、类型众多数据构成的数据集合，是基于云计算的数据处理与应用模式，通过数据的集成共享，交叉复用形成的智力资源和知识服务能力。在商业领域指的是所涉及的资料规模巨大到无法透过目前主流软件工具，在合理时间内达到撷取、管理、处理、并整理成为帮助企业经营决策更积极目的的资讯。对于组织和个人职业生涯而言,成功的大数据项目应该都是一场成果显著的胜利。但如果优先顺序出错，那么大数据项目在实行伊始便注定将以失败告终。区分数据真实度（veracity）、可视化（visualization）以及价值（value）的优先顺序是

2、成功的关键。 大数据项目中首要的挑战，基本上都会听到类似的回答：数据量（volume）、速度（velocity）以及多样性（variety）。这三个V俨然已经成为大数据的同义词。然而，面对合理的挑战时，大数据的长期性、战略性价值将不会通过这三个V来体现。前面提及的另外三个V才是成功与失败的分水岭。任何大数据战略如果未能包括或纳入上述的三个新V，那么大数据将无法引起企业的兴趣、列入企业优先考虑事项并成为真正的推动力量（无论是何种用例）： 真实度（veracity）。如果您的组织与大多数组织一样，已在保证数据可信度方面耗费了大量心血，引入大数据并不会将您过去在可信度方面的努力全盘废弃。大数据

3、分析中的洞察见解必须是可信的，并且可依据这些洞见制定业务决策或发起活动。 可视化（visualization）。访问大数据是一回事，为企业整体资源消耗提供大数据服务则是另一回事。多样性固然重要，尤其是考虑如何向需要数据的各种人员提供数据访问和使用的时候。确保您不仅能向需要数据的人员提供大数据，而且重点关注如何确保通过高度灵活、可配置以及用户友好的可视化能力充分发挥大数据的潜能。 价值（value）。当您清楚表明并证实了投资对企业造成的影响之后，技术投资的理论便拥有了实践支持。专注于大数据方案将为您的企业带来的最终价值。创建一个令人信服的业务案例，说明大数据投资如何能够增加收入、改善效率、

4、降低业务和IT运营成本、减小风险、提高客户满意度和忠诚度，或在战略上让您的企业从众多其他竞争对手中脱颖而出。这就是大数据从沙盒试行项目广泛应用到整个组织中的方式。   这其中不乏卓越者，湖南蚁坊软件搭建的大数据平台：蚂蚁工厂（Antfact）完美的为3V:数据真实度（veracity）、可视化（visualization）以及价值（value）做了最好诠释。大数据分析与处理方法介绍 众所周知，大数据已经不简简单单是数据大的事实了，而最重要的现实是对大数据进行分析，只有通过分析才能获取很多智能的，深入的，有价值的信息。那么越来越多的应用涉及到大数据，而这些大数据的属性，包括数量，速度，多样

5、性等等都是呈现了大数据不断增长的复杂性，所以大数据的分析方法在大数据领域就显得尤为重要，可以说是决定最终信息是否有价值的决定性因素。基于如此的认识，大数据分析普遍存在的方法理论有哪些呢？   一、大数据分析的五个基本方面   1. Analytic Visualizations（可视化分析）   不管是对数据分析专家还是普通用户，数据可视化是数据分析工具最基本的要求。可视化可以直观的展示数据，让数据自己说话，让观众听到结果。   2. Data Mining Algorithms（数据挖掘算法）   可视化是给人看的，数据挖掘就是给机器看的。集群、分割、孤立点分析还有其他的算法让我们深入

6、数据内部，挖掘价值。这些算法不仅要处理大数据的量，也要处理大数据的速度。   3. Predictive Analytic Capabilities（预测性分析能力）   数据挖掘可以让分析员更好的理解数据，而预测性分析可以让分析员根据可视化分析和数据挖掘的结果做出一些预测性的判断。   4. Semantic Engines（语义引擎）   我们知道由于非结构化数据的多样性带来了数据分析的新的挑战，我们需要一系列的工具去解析，提取，分析数据。语义引擎需要被设计成能够从“文档”中智能提取信息。   5. Data Quality and Master Data Management（数据

7、质量和数据管理） 数据质量和数据管理是一些管理方面的最佳实践。通过标准化的流程和工具对数据进行处理可以保证一个预先定义好的高质量的分析结果。   假如大数据真的是下一个重要的技术革新的话，我们最好把精力关注在大数据能给我们带来的好处，而不仅仅是挑战。   二、大数据处理   具体的大数据处理方法其实有很多，但是根据长时间的实践，笔者总结了一个基本的大数据处理流程，并且这个流程应该能够对大家理顺大数据的处理有所帮助。整个处理流程可以概