海量数据挖掘的关键技术及应用现状.docx

《海量数据挖掘的关键技术及应用现状.docx》由会员上传分享，免费在线阅读，更多相关内容在应用文档-天天文库。

1、网络化时代信息膨胀成为必然，如何准确、高效地从丰富而膨胀的数据中筛选出对经营决策有用的信息已经成为企业和机构迫切需要解决的问题，针对于此，海量数据挖掘技术应运而生，并显示出强大的解决能力。Gartner的报告指出，数据挖掘会成为未来10年内重要的技术之一。　　一、海量数据挖掘关键技术随时代而变化　　所谓海量数据挖掘，是指应用一定的算法，从海量的数据中发现有用的信息和知识。海量数据挖掘关键技术主要包括海量数据存储、云计算、并行数据挖掘技术、面向数据挖掘的隐私保护技术和数据挖掘集成技术。　　1．海量数据存储　　海量存储系统的关键技术包括并行存储体系架构、高性能对象存储技术、并行I/O访问

2、技术、海量存储系统高可用技术、嵌入式64位存储操作系统、数据保护与安全体系、绿色存储等。　　海量数据存储系统为云计算、物联网等新一代高新技术产业提供核心的存储基础设施；为我国的一系列重大工程如平安工程等起到了核心支撑和保障作用；海量存储系统已经使用到石油、气象、金融、电信等国家重要行业与部门。发展具有自主知识产权、达到国际先进水平的海量数据存储系统不仅能够填补国内在高端数据存储系统领域的空白，而且可以满足国内许多重大行业快速增长的海量数据存储需要，并创造巨大的经济效益。　　2．云计算　　目前云计算的相关应用主要有云物联、云安全、云存储。云存储是在云计算(cloudcomputing)

3、概念上延伸和发展出来的新概念，是指通过集群应用、网格技术或分布式文件系统等功能，将网络中大量各种不同类型的存储设备通过应用软件集合起来协同工作，共同对外提供数据存储和业务访问功能的一个系统。　　当云计算系统运算和处理的核心是大量数据的存储和管理时，云计算系统中就需要配置大量的存储设备，那么云计算系统就转变成为一个云存储系统，所以云存储是一个以数据存储和管理为核心的云计算系统。　　3．并行数据挖掘技术　　高效率的数据挖掘是人们所期望的，但当数据挖掘的对象是一个庞大的数据集或是许多广泛分布的数据源时，效率就成为数据挖掘的瓶颈。随着并行处理技术的快速发展，用并行处理的方法来提高数据挖掘效率

4、的需求越来越大。　　并行数据挖掘涉及到了一系列体系结构和算法方面的技术，如硬件平台的选择（共享内存的或者分布式的）、并行的策略（任务并行、数据并行或者任务并行与数据并行结合）、负载平衡的策略（静态负载平衡或者动态负载平衡）、数据划分的方式（横向的或者纵向的）等。处理并行数据挖掘的策略主要涉及三种算法：并行关联规则挖掘算法、并行聚类算法和并行分类算法。　　4．面向数据挖掘的隐私保护技术　　数据挖掘在产生财富的同时也随之出现了隐私泄露的问题。如何在防止隐私泄露的前提下进行数据挖掘，是信息化时代各行业现实迫切的需求。　　基于隐私保护的数据挖掘是指采用数据扰乱、数据重构、密码学等技术手段，能

5、够在保证足够精度和准确度的前提下，使数据挖掘者在不触及实际隐私数据的同时，仍能进行有效的挖掘工作。　　受数据挖掘技术多样性的影响，隐私保护的数据挖掘方法呈现多样性。基于隐私保护的数据挖掘技术可从4个层面进行分类：从数据的分布情况，可以分为原始数据集中式和分布式两大类隐私保护技术；从原始数据的隐藏情况，可以分为对原始数据进行扰动、替换和匿名隐藏等隐私保护技术；从数据挖掘技术层面，可以分为针对分类挖掘、聚类挖掘、关联规则挖掘等隐私保护技术；从隐藏内容层面，可以分为原始数据隐藏、模式隐藏。　　5．数据挖掘集成技术　　数据挖掘体系框架由三部分组成：数据准备体系、建模与挖掘体系、结果解释与评价

6、体系。其中最为核心的部分是建模与挖掘体系，它主要是根据挖掘主题和目标，通过挖掘算法和相关技术(如统计学、人工智能、数据库、相关软件技术等)，对数据进行分析，挖掘出数据之间内在的联系和潜在的规律。大体上，数据挖掘应用集成可分为几类：数据挖掘算法的集成、数据挖掘与数据库的集成、数据挖掘与数据仓库的集成、数据挖掘与相关软件技术的集成、数据挖掘与人工智能技术的集成等。　　二、海量数据挖掘应用广泛但深度不足　　2011年中国数据挖掘软件市场规模达接近2亿元，2012－2014年还将快速增长。从数据挖掘应用行业上看，国内大多数的用户都来自电信、银行、保险、税务、政府等领域。应用主题主要包含：消费

7、者行为分析、信用评分与风险管理、欺诈行为侦测、购物篮分析等方面。目前，国内数据挖掘应用仍停留在初级阶段，行业企业大规模的运用数据挖掘技术尚需时日。　　1．国内数据挖掘应用可分为３个层次　　从数据挖掘应用层次上看，大体可以分为三个层次：第一层次是把挖掘工具当作单独的工具来用，不用专门建设系统；第二层次则是把数据挖掘模块嵌入到系统中，成为部门级应用；第三层次是企业级应用，相当于把挖掘系统作为整个企业运营的中央处理器。目前，国内的数据挖掘应用的企业基本处于第一层