大数据-数据挖掘课件.ppt

《大数据-数据挖掘课件.ppt》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、大数据vs数据挖掘大数据是什么大数据(bigdata,megadata)，或称巨量资料，指的是需要新处理模式才能具有更强的决策力、洞察力和流程优化能力的海量、高增长率和多样化的信息资产。大数据与云计算的关系就像一枚硬币的正反面一样密不可分。HACE定理：大数据是巨大，无中心循环自生的，关系复杂且变化的。1998：BigDataandtheNextWaveof…2005：Web2.02006:GoogleAnalytic2012:FacebookIPO大数据的纬度数据技术创意数据挖掘是什么数据挖掘（英语：Datamining），又译为资料探勘、数据采矿。它是数据库知

2、识发现（KDD)中的一个步骤。数据挖掘一般是指从大量的数据中通过算法搜索隐藏于其中信息的过程。数据挖掘通常与计算机科学有关，并通过统计、在线分析处理、情报检索、机器学习、专家系统和模式识别等诸多方法来实现上述目标。各种来源数据数据库或者数据仓库数据挖掘引擎模式评估用户界面知识库数据挖掘能挖掘什么概念性描述：用户画像；频繁模式，关联：推荐系统；分类；聚类：寻找新的分类；离群点分析：演变分析，时间序列：预测未来。易于理解，有效，有用，新的。数据库技术统计学信息科学可视化机器学习数据挖掘DMQL:与任务相关的数据；要挖掘的知识类型；用于挖掘过程的背景知识；评估模式的兴趣

3、度度量和阈值；可视化发现模式的期望表示CRISP-DM大数据和数据挖掘区别趋势分析DataminingWeb2.0BigdataMobileinternet图表来自GoogleTrends，虚线为预测部分整体vs个体关注个体间的关系，集体表现特性。关注关联关系，注重实际应用，不追究因果关系。个体间通常有很多的联系，交互。关注个体的细节，数据由什么构成。关注因果关系，注重理论知识。根据实验理论，个体间彼此是分离的。多样vs抽样关注一切可能获取的数据，考虑数据全部。数据可以多次被使用，陈旧数据不会删除。非结构化，无层次。采用分布式部署。数据一般人工收集而来，按照一定的

4、规则进行抽样。陈旧数据一般不使用，为节约空间一般会以别的形式存放。数据是规范的，有层次。一般是单机。简单算法vs专家参与对先验知识的依赖性低，基本不需要人工参与。对大量数据实施简单算法。能自动调整适应。严重依赖于先验知识和数据挖掘者的经验。算法复杂：概率算法，神经网络等。会出现滚雪球的灾难。容错vs精确大数据下，错误会抵消。允许一些数据项为空。错误的数据也是有价值的。使用统计方法，去掉错误数据。对空的数据，进行填补或者抛弃。抛弃错误数据，不处理。快速vs固定数据高速，实时增加。要么现在开始，要不就不要开始。这一秒有效，下一秒就无效。针对一个固定的数据集。可以有长时

5、间的准备和挖掘过程。知识长期可用。谢谢大家看我装逼