大数据挖掘面临的挑战及思考

《大数据挖掘面临的挑战及思考》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、大数据挖掘面临的挑战及思考摘要：现阶段我国的科学技术得到了迅速发展，一些新技术在生产工作当中也得到了广泛应用，其中的大数据挖掘技术就是重要应用技术。通信企业的发展中，对大数据挖掘技术的应用需求也有着加强，但是大数据挖掘技术也面临着一些挑战。本文主要就大数据挖掘的功能和主要技术加以阐述，然后对大数据挖掘面临的挑战和发展趋势详细探究。关键词：大数据；挑战；发展趋势中图分类号：TP311.13文献识别码：A文章编号：1001-828X013-0-01引言大数据能够分成科学大数据以及决策大数据等，大数据挖掘技术的应用，呈现的是倒金字

2、塔型，底部是通过IT计算系统以及平台层，中间算法以及模型层，顶层应用层所构成的完善系统。当前的大数据挖掘技术在通信企业当中的应用发挥着重要作用，注重对技术的理论深化研究对通信企业的良好发展就有着积极意义。、大数据挖掘的功能和主要技术分析1.大数据挖掘的功能体现大数据挖掘的功能比较多，在自动预测趋势以及行为的功能上较为突出，数据挖掘自动在大型的数据库当中寻找预测性信息的作用比较突出，这样就大大提高了查询数据的效率。而在大数据挖掘功能中的关联分析的功能上也比较突出，关联分析的主要功能就是找到数据库当中隐藏的关联网，在关联分析生成

3、的规则的可信度就比较突出［1］。大数据挖掘功能当中的聚类功能也比较突出，其中就有着传统模式识别法以及数学分类学。功能中的偏差检测功能比较突出，在数据库当中数据常有的异常记录当中，偏差所包含的潜在知识比较多，有不满足规则的特例以及观测结果等偏差。2.大数据挖掘主要技术其一，神经元网络技术。大数据挖掘技术当中的神经元网络技术是比较重要的应用技术，其中用于分类以及聚类和特征采掘的作用发挥比较突出。神经网络模仿生物神经网络，就是分布矩阵结构。神经元网络技术当中前馈式网络以及反馈式网络和自组织网络是比较重要类型［2］。其中前馈式网络是

4、以感知机以及反向传播模型等作为代表的，能用在预测以及模式识别上。在自组织网络类型方面，主要是以ARI模型等为代表的，在聚类的应用上比较突出，在神经元网络的技术应用下，就能大大提高实际问题的解决效率。其二，线性回归分析技术。大数据挖掘技术中的线性回归分析技术的作用也比较重要，其包含着预测目标以及预测属性，两者关系能绘制二维空间。在具体实施中，沿着轴绘制预测属性值，在这一回归模型方面就能视为一条曲线，曲线用于最小化实际预测值以及线上点间错误发生率。其三，决策树技术。大数据挖掘技术中决策树技术的应用也比较重要，决策树是在数据属性值

5、基础上实施的归纳分类，其主要的优势是可理解性和直观性。其和神经网络最大却别就是决策树能解释得出结果的决策过程。二、大数据挖掘面临的挑战和发展趋势1.大数据挖掘面临的挑战大数据挖掘所面临的挑战比较多，在数据挖掘对象方面，更大型的数据可以及更高维数以及属性间更复杂的关系，诸多的因素就会使得搜索知识的代价比较高。大数据挖掘技术的应用下，在多种形式输入数据上就面临着比较大的挑战，在当前的数据挖掘工具处理数据的形式上是比较有限的，能处理数值型的结构化数据，但是对文本以及数学公式等进行挖掘，还有事数据自身的缺损以及噪声，在商业数据库当中

6、的应用也有着很大挑战。大数据挖掘技术应用所面临的挑战当中，验证技术的局限性也比较突出，在技术应用中是通过特定分析方法以及逻辑形式发现知识的。在这一过程当中，系统就可能没有能力交互证实发现的知识，这就会造成发现的知识没有普遍实用性［3］。还有事待挖掘的数据自身可能是错误的，这样在数据挖掘的有效性方面就受到了相应影响。大数据挖掘所面临的问题中，在知识的表达以及解释机制和知识的维护更新方面也比较突出，在支持的局限和其他系统的集成方面也面临着很大挑战。大数据挖掘技术的应用中，所得到的预言模型不会告诉一个人为什么会做一件事和采取某个行

7、动，为保障数据挖掘结构的价值，用户就要能对自身的数据进行了解。输入数据库当中的异常数据以及不相关字段等对数据挖掘输出结果质量就有着影响。数据挖掘不会在缺少指导下自动发现模型，数据挖掘不会替代有经验的商业分析师以及管理人员所起的作用。2.大数据挖掘技术发展趋势大数据挖掘技术的进一步升级下，在应用的范围上也进一步扩大化，其中将大数据挖掘技术在通信企业领域的应用就能发挥积极作用，当前大数据挖掘的技术发展趋势就是开发针对特定应用的数据挖掘系统。在未来的发展过程中，大数据挖掘技术就会实现可伸缩的数据挖掘方法目标［4］。数据挖掘技术的重

8、要发展方向就是基于结束挖掘的发展方向，增加用户交互同时来改进挖掘处理的总体效率，能够有效提供额外控制方法，能允许用户说明以及使用约束。大数据挖掘技术的应用发展中，数据挖掘语言标准化的目标将会实现，标准的数据挖掘语言以及其他方面标准化工作对数据挖掘系统化的开发就有着积极作用，能有效优化多数据