数据挖掘在监测数据分析中的应用探索

《数据挖掘在监测数据分析中的应用探索》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、安全播出与监测SafetyBroadcasting&Monitoring数据挖掘在监测数据分析中的应用探索◎杨京国家广电总局监测数据处理中心之四海皆准的知识，换句话说发现的知识都是相对的，是有摘要:本文简述了数据挖掘技术的基本概念、产生和发特定前提和约束条件，面向特定领域的。下面再简单解释一展的基础以及在现实生活中所发挥的巨大作用。同时还下知识的基本概念。从广义上理解，数据、信息也是知识的就数据挖掘技术在全国广播监测网的应用做了初步的探表现形式，但是人们更把概念、规则、模式、规律和约束等索和尝试

2、。看作知识。人们把数据看作是形成知识的源泉。而原始数据可以是结构化的，如关系数据库中的数据；也可以是半结构关键词:数据挖掘广播电视监测决策支持化的，如文本、图形和图像数据；甚至是分布在网络上的异构型数据。发现知识的方法可以是数学的，也可以是非数学的；可以是演绎的，也可以是归纳的。发现的知识可以被用0引言于决策支持和过程控制等。因此，数据挖掘是一门交叉学科，随着广播电视监测网建设规模的不断扩大和运行时间的它把人们对数据的应用从低层次的简单查询，提升到从数据不断增加，广播电视监测网数据库积累的各种监

3、测数据也越中挖掘知识，提供决策支持。来越多。激增的数据背后隐藏着许多重要的知识和信息，而数据挖掘所发现的知识最常见的有以下四类：目前的数据库系统可以高效地实现数据的录入、查询、统计1.广义知识（Generalization）：广义知识指类别特征的等功能，但无法发现数据中存在的关系和规则，无法根据现概括性描述知识。根据数据的微观特性发现其表征的、带有有的数据预测未来的发展趋势。如何运用数据挖掘这一新兴普遍性的、较高层次概念的、中观和宏观的知识，反映同类技术从大量的监测数据中发现有意义和有价值的知识

4、，并根事物共同性质，是对数据的概括、精炼和抽象。关联知识据这些知识来指导我们日常的监测工作和维护工作，使我们（Association）：它反映一个事件和其他事件之间依赖或关联的的工作更有效率，成为广播电视监测领域里一个值得探索和知识。如果两项或多项属性之间存在关联，那么其中一项的研究的课题。属性值就可以依据其他属性值进行预测。2.分类知识(Classification＆Clustering)：它反映同类事1数据挖掘技术简介物共同性质的特征型知识和不同事物之间的差异型特征知识。1.1数据挖掘技术的

5、基本概念最为典型的分类方法是基于决策树的分类方法。数据挖掘（DataMining）就是从大量的、不完全的、有3.预测型知识（Prediction）：根据时间序列型数据，由噪声的、模糊的、随机的实际应用数据中，提取隐含在其中历史的和当前的数据去推测未来的数据，也可以认为是以时的、人们事先不知道的、但又是潜在有用的信息和知识的过间为关键属性的关联知识。时间序列预测方法有经典的统计程。这个定义包括好几层含义：数据源必须是真实的、大量的、方法、神经网络和机器学习等。含噪声的；发现的是用户感兴趣的知识；发

6、现的知识要能够4.偏差型知识(Deviation)：此外，数据挖掘还可以发现易于被用户理解，最好能用自然语言表达；并不要求发现放其他类型的知识，如偏差型知识，它是对差异和极端特例的2010年第12期广播与电视技术123安全播出与监测SafetyBroadcasting&Monitoring描述，揭示事物偏离常规的异常现象，如标准类外的特例，>数据聚类外的离群值等。ຕ਍ᇸ>ຕ਍ੰ>1.2数据挖掘技术的基础数据挖掘技术的三大基础技术包括计算机硬件技术、大߳ࠅິဆ>ຕ਍ྌਢ>ຕ਍ण๨>ຕ਍ण๨>ຕ਍ण

7、๨>规模数据库技术和数据挖掘算法。在过去数十年里，计算机硬件技术得到了迅猛的发展，包括单个CPU的处理能力大幅图1数据挖掘库从数据仓库中得出提升、内存和磁盘存储器价格的显著降低、支持多个CPU的并行处理结构的巨大进步等。大型关系型数据库及数据库管理系统在各行各业的广泛应用、最近10年来数据挖掘算法的>ຕ਍ᇸ>ຕ਍ྌਢੰ>不断发展、成熟和稳定。数据挖掘是利用了人工智能和统计分析这两种技术致力图2数据挖掘库从事物数据库中得出于模式发现和预测。数据挖掘不是为了替代传统的统计分析技术。相反，它是统计分析

8、技术的延伸和扩展。大多数的统计分析技术都基于完善的数学理论和高超的技巧，预测的准据仓库不是必需的。建立一个巨大的数据仓库，把各个不同确度还是令人满意的，但对使用者的要求很高。而随着计算源的数据统一在一起，解决所有的数据冲突问题，然后把所机计算能力的不断增强，我们有可能利用计算机强大的计算有的数据导到一个数据仓库内，是一项巨大的工程，可能要能力只通过相对简单和固定的方法完成同样的功能。一些新用几年的时间花上百万的钱才能完成。只是为了数据挖掘，兴的技术同样在知识发现领域取得了很好的效果，如神经元你可