大数据的数据挖掘技术研究

《大数据的数据挖掘技术研究》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、吉林师范大学毕业论文（设计）毕业论文（设计）毕业论文（设计）毕业论文（设计）论文分类号：TP393密级：无大数据的数据挖掘技术研究Researchonbigdata’sdataMiningTechnology学院、专业：数学学院统计学学生姓名：肖蕊年级、班、学号：2014级5班指导教师及职称：陶袁（副教授）2018年4月22日大数据的数据挖掘技术研究肖蕊(吉林师范大学数学学院2014级5班吉林四平136000)指导教师:陶袁（副教授）摘要：大数据技术被广泛应用，大数据的数据挖掘技术是大数据得以广泛应用前提，本文从

2、数据挖掘的主要统计方法及大数据研究的主要方法出发，结合大数据在当前典型行业应用给出当前大数据的数据挖掘技术存在的主要问题，并给出相关的解决方案，最后给出结论。关键词：大数据;数据挖掘中图分类号：TP393Researchonbigdata’sdataMiningTechnologyXiaoRui(Class5Grade2014,SchoolofMathematics,JilinNormalUniversity,SipingJilin136000)Instructor:TaoYuan(AssociateProfes

3、sor)Abstract:Bigdatatechnologyhasbeenwidelyused,bigdata'sdataminingtechnologyisthepremiseofbigdata'swideapplication.Thispaperstartsfromthemainstatisticalmethodsofdataminingandthemainmethodsoftheresearchofbigdata.Combinedwithbigdata'sapplicationintypicalindust

4、ries,thispaperpresentsthemainproblemsexistinginthecurrentdataminingtechnologyofbigdata,andgivestherelevantsolutions,andfinallygivesaconclusion.Keywords:BigData;DataMiningCLC:TP393目录摘要：11绪论31.1数据挖掘定义31.2选题背景31.3研究目的与意义32统计分析基本方法42.1多元统计42.2数据建模准备42.3简单线性回归52.3

5、多元回归与模型构建73大数据研究基本方法83.1分类83.1.1K-最近邻算法83.1.2决策树83.1.3神经元网络93.1.4logistic回归93.1.5朴素贝叶斯与贝叶斯网络93.1.6模型评估技术93.1.7基于数据驱动成本的成本-效益分析93.2聚类93.2.1层次聚类和k-均值聚类93.2.2Kohonen网络103.2.3BIRCH聚类103.3关联规则104大数据分析案例分析及存在的主要问题104.1电信运营商大数据分析案例104.2存在的主要问题115大数据分析解决方案116结论12参考文献

6、131绪论1.1数据挖掘定义数据挖掘是从大量的数据中，有目的地提取有意义的信息的过程。并且该信息是间接产生的，少量的，清晰的，有完整性的。通常，我认为数据挖掘有两类功能，一类是描述，从整体角度分析其特性；另一类是预测，对数据进行推算。最后，获得有较高价值的数据。数据挖掘的方法适用于各个领域。1.2选题背景自二十一世纪初，我们进入了大数据时代，这个时代改变了整个世界，数据库有了进行数据变换、连接及共享的新功能。所以，数据挖掘技术的发展变得很关键。为了顺应时代发展，将大数据挖掘技术应用到企业管理中，有针对性地重制管理

7、模式，可获得丰厚的经济回报和新的发展。因此，企业必须拥有或培养分析人才、管理人才、技术型人才等大数据人才。这类人才应该有教育机构中培养。1.3研究目的与意义研究目的：随着互联网技术和智能技术的发展，更加便于收集海量数据及储存。通过数据挖掘与大数据分析技术，可以从海量数据中，寻得有价值的参考模型或规律，进一步翻译成使人们容易接受信息或知识。研究意义：通过分析挖掘出有价值的和可操纵的信息，帮助企业寻求适合有利的经营模式和预测前景。现如今，数据挖掘无处不在，对企业和经济发展有非常大的帮助。在企业竞争中知此知彼，抢得商机

8、和极大份额。2统计分析基本方法2.1多元统计处理数据时也有包含多个变量的数据。（1）描述均值差异的两样例t-检验方法。（2）判断总体差异的两样例Z-检验。（3）测试比例均匀性。（4）多元数据拟合情况的卡方检验。（5）方差分析。2.2数据建模的准备（1）交叉验证如果采用的方法不正确，数据挖掘将成为数据淤泥，数据挖掘分析人员发现的将是虚拟的结果，为了避免数据淤泥，则使用交叉检