大数据处理技术与思维详解.ppt

《大数据处理技术与思维详解.ppt》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、大数据处理技术与思维数据挖掘技术商业智能10/6/2021数据挖掘技术的由来大量信息在给人们带来方便的同时也带来了一大堆问题：第一：是信息过量，难以消化；第二：是信息真假难以辨识；第三：是信息安全难以保证；第四：是信息形式不一致，难以统一处理。网络之后的下一个技术热点10/6/2021数据挖掘技术的由来从商业数据到商业信息的进化进化阶段商业问题支持技术产品厂家产品特点数据搜集(60年代)“过去五年中我的总收入是多少？”计算机,磁带和磁盘IBM,CDC提供历史性的、静态的数据信息数据访问(80年代)“在新英格兰的分部

2、去年三月的销售额是多少？”关系数据库（RDBMS）,结构化查询语言（SQL）,ODBC,Oracle,Sybase,Informix,IBM,MicrosoftOracle,Sybase,Informix,IBM,Microsoft在记录级提供历史性的、动态数据信息数据仓库；决策支持(90年代)“在新英格兰的分部去年三月的销售额是多少？波士顿据此可得出什么结论？”联机分析处理（OLAP）,多维数据库,数据仓库Pilot,Comshare,Arbor,Cognos,Microstrategy在各种层次上提供回溯的、动

3、态的数据信息数据挖掘（正在流行）“下个月波士顿的销售会怎么样？为什么？”高级算法,多处理器计算机,海量数据库Pilot,Lockheed,IBM,SGI,其他初创公司提供预测性的信息10/6/2021数据挖掘技术的由来数据挖掘逐渐演变的过程算法学习专家系统机器学习10/6/2021数据挖掘的定义数据挖掘（DataMining）就是从大量的、不完全的、有噪声的、模糊的、随机的实际应用数据中，提取隐含在其中的、人们事先不知道的、但又是潜在有用的信息和知识的过程。技术上的定义及含义10/6/2021数据挖掘的定义数据挖掘

4、是一种新的商业信息处理技术，其主要特点是对商业数据库中的大量业务数据进行抽取、转换、分析和其他模型化处理，从中提取辅助商业决策的关键性数据。按企业既定业务目标，对大量的企业数据进行探索和分析，揭示隐藏的、未知的或验证已知的规律性，并进一步将其模型化的先进有效的方法。商业角度的定义10/6/2021数据挖掘的定义数据挖掘与传统的数据分析(如查询、报表、联机应用分析)的本质区别是数据挖掘是在没有明确假设的前提下去挖掘信息、发现知识.数据挖掘所得到的信息应具有先未知,有效和可实用三个特征.数据挖掘与传统分析方法的区别10

5、/6/2021数据挖掘的定义数据挖掘和数据仓库数据源数据仓库各分公司数据集分析数据集数据挖掘数据集10/6/2021数据挖掘的定义数据挖掘，机器学习和统计分析数据挖掘统计分析预测简单的方法复杂的方法10/6/2021数据挖掘的定义数据挖掘，机器学习和统计分析数据挖掘统计方法模式识别人工智能封装预测10/6/2021数据挖掘的基本技术关联规则挖掘技术关联规则（associationrule）挖掘技术用于发现数据库中属性之间的有趣联系。和传统的产生式规则不同，关联规则可以有一个或多个输出属性。同时，一个规则的输出属性可

6、以是另一规则的输入属性。关联规则分析有时也叫购物篮分析，是因为它可以找寻出潜在的令人感兴趣的所有的产品组合。由此，有限数目的属性可能生成上百条关联规则。10/6/2021数据挖掘的基本算法其它数据挖掘算法K-平均值算法（一种无指导聚类算法）遗传算法（可用于有指导学习的算法）神经网络算法（可用于有指导学习的算法）10/6/2021BI理解数据商务智能是通过对来自不同的数据源进行统一处理及管理，通过灵活的展现方法来帮助企业进行决策支持。数据信息知识决策获取管理使用10/6/2021BI概念商业智能（BusinessIn

7、telligence，简称BI）的概念最早是GartnerGroup于1996年提出来的。当时将商业智能定义为一类由数据仓库（或数据集市）、查询报表、数据分析、数据挖掘、数据备份和恢复等部分组成的、以帮助企业决策为目的技术及其应用。目前，商业智能通常被理解为将企业中现有的数据转化为知识，帮助企业做出明智的业务经营决策的工具。从技术层面上讲，商业智能不是什么新技术，它只是数据仓库、OLAP和数据挖掘等技术的综合运用。10/6/2021商业智能是一种解决方案，关键是从许多来自不同的企业运作系统的数据中，提取出有用的数据

8、，进行清理以保证数据的正确性，然后经过抽取（Extraction）、转换（Transformation）和装载（Load），即ETL过程，合并到一个企业级的数据仓库里，从而得到企业数据的一个全局视图，在此基础上利用合适的查询和分析工具、数据挖掘工具、OLAP工具等对其进行分析和处理（这时信息变为辅助决策的知识），最后将知识呈现给管理者，为管理者的决策过程提供