从数据挖掘到深度学习

《从数据挖掘到深度学习》由会员上传分享，免费在线阅读，更多相关内容在行业资料-天天文库。

1、从数据挖掘到深度学习——大数据建模分析的算法和应用概述刘豫2016-3-25提纲概述大数据建模分析算法和应用数据挖掘算法简介深度学习算法简介大数据分析工具关于网管大数据分析的思考实现基础：数据库、数据仓库、分布式存储、并行计算、流式计算、GPU加速……大数据建模分析的理论和方法2021/8/26如果数据是21世纪最宝贵的财富，大数据分析就是当今最伟大的炼金术，可以从前所未有的大规模数据中发现前所未知的知识，实现不可限量的价值。大数据分析依赖的理论和方法主要包括传统的统计学、机器学习、数据挖掘，以及近1

2、0年来逐渐发展成熟的深度学习。统计学机器学习数据挖掘深度学习提供特征和模型重要的发展分支提供数据分析技术基础实现对海量数据的明确可预期的分析能力算法可解析，物理意义清晰实现对海量数据的超越预期的分析能力算法多为启发式的，难以分析和理解人工学习特征人工学习规律人工学习特征自动学习规律自动学习特征自动学习规律关于特征、规律和学习2021/8/26大数据建模分析的本质是通过构建数学模型，从数据中学习特征和规律，收获有用的知识。特征：决定数据对象所蕴含的知识的关键属性规律：将特征的表达为目标知识的一种模式，及

3、其参数学习：从样本数据集计算得到规律的过程原始数据特征规律训练数据测试数据学习目标函数标签数据标签数据测试验证输出参数优化目标建模流程验证流程可选流程贝叶斯决策树神经网络SVMKNNK-Means……最小二乘极大似然梯度下降BP算法EM算法……大数据建模分析的基本流程关于学习2021/8/26学习能力是大数据分析建模的关键技术之一。根据反馈的不同，学习技术可以分为监督学习（Supervisedlearning）、非监督学习（Unsupervisedlearning）、半监督学习（Semi-superv

4、isedlearning）和强化学习（Reinforcementlearning）四大类。监督学习（Supervisedlearning）使用有标签数据进行学习典型场景：分类、回归非监督学习（Unsupervisedlearning）使用无标签数据进行学习典型场景：聚类半监督学习（Semi-supervisedlearning）使用数据的一部分是有标签的，另一部分没有标签，无标签数据的数量>>有标签数据数量典型场景：海量数据分类强化学习（Reinforcementlearning）使用无标签但有反馈的

5、数据进行学习典型场景：策略推理半监督（Semi-supervised)学习案例步骤一:用带有标识的图片训练分类器步骤二:对没有标识的数据进行分类，并按照信任度从大到小进行排序步骤三:将信任度最高的图片自动加入标识项步骤四:重新训练分类器并重复步骤二~步骤四图片分类案例：从图库中识别出“日蚀”图片。当图库巨大时，人工标注耗时耗力。提纲概述大数据建模分析算法和应用数据挖掘算法简介深度学习算法简介大数据分析工具关于网管大数据分析的思考数据挖掘的概念和历史1960s1970sand80s1990s2000s-

6、-DataCollectionDatabaseCreationRelationalDataModelRDBMSDataMiningDataWarehouseMultimediaDatabaseWebDatabaseStreamdatamanagementandminingWebtechnology(XML,dataintegration)SAS研究所（1997）：“在大量相关数据基础之上进行数据探索和建立相关模型的先进方法”Bhavani（1999）：“使用模式识别技术、统计和数学技术，在大量的数据中

7、发现有意义的新关系、模式和趋势的过程”Handetal（2000）：“数据挖掘就是在大型数据库中寻找有意义、有价值信息的过程”JiaweiHan(韩家炜)（2000）：从海量的、不完全的、有噪声的、模糊的、随机的实际应用数据中，提取隐含在其中、人们事先不知道的、但又潜在有用的信息和知识的过程--《数据挖掘:概念与技术》数据挖掘定义的发展数据挖掘（DataMining）一词是在1989年8月召开的第十一届国际联合人工智能学术会议（JCAI’89）上正式形成的，其根源可追溯到经典统计学、人工智能、机器学习

8、三个学科，关系型数据库、互联网的广泛应用两次推动了数据挖掘技术的发展。9主要的数据挖掘算法广义型知识反映同类事物共同性质的知识特征型知识反映事物各方面的特征知识差异型知识反映不同事物之间属性差别的知识关联型知识反映事物之间依赖或关联的知识预测型知识根据历史和当前数据推测未来数据偏离型知识揭示事物偏离常规的异常现象分类按照分析对象的属性、特征，建立不同的组类来描述事物聚类识别出内在的规则，按照这些规则把对象分成若干类关联规则关联是某种事物发生时其他事物会发