基于粒子群优化加权朴素贝叶斯分类的研究

《基于粒子群优化加权朴素贝叶斯分类的研究》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、摘要摘要数据挖掘是一个年轻且充满生机的研究领域。分类是数据挖掘研究的内容之一。朴素贝叶斯分类是应用比较广泛的分类方法，是贝叶斯分类法的一种，它可以与决策树和神经网络分类相媲美。而且在大型数据库应用方面，它也表现出高的准确率和速度。但是朴素贝叶斯需要满足一个假定，即每个属性值对给定类的影响独立于其他属性值。这种类条件独立性限制了朴素贝叶斯分类的准确率，因为有些时候有的属性之间存在着一定的关系，并不满足独立性假设。加权朴素贝叶斯分类是朴素贝叶斯分类的一种扩展，给每个属性赋予不同的权值，从而削弱类独立性假设，使其更加满足实际情况。加权朴素贝叶斯

2、分类的一个关键问题是确定权值,因此,本文提出了基于粒子群优化的加权朴素贝叶斯（WeightedNaiveBayesbasedonParticleSwarmOptimization，WNB-PSO）分类算法，采用粒子群优化算法来自动搜索权值，并用实验来说明这种算法确实能够提高朴素贝叶斯分类的准确率。分类实际上是一个构造模型或者分类器的过程。该过程可以分成两步进行：学习和分类。首先把数据随机地分成训练数据和检验数据。训练数据用于学习阶段，通过粒子群优化算法来确定权重，而检验数据用于分类阶段，检验该算法分类的准确率。准确率在粒子群优化的适应度函

3、数上和分类阶段的分类器性能评估上都会用到。在学习阶段（或者训练阶段），根据贝叶斯定理，在给定未知类属元组的情况下，计算每个类的后验概率，后验概率由贝叶斯公式给定，然后把该元组归属于最大概率值的那个类。加权朴素贝叶斯算法在后验概率的式子上添加了权值，使每个属性的概率获得不同的比重。对于权值的确定，本文利用粒子群优化算法在训练数据上搜索最优的权值。在搜索过程中，采用准确率来作为粒子群优化的适应度函数。初始时，设定好粒子群的规模、迭代次数，每个粒子的位置为一随机值，即权重是任意的。在每次迭代中，如果每个粒子的当前位置比历史最优位置的适应度更好，

4、则更新该粒子的历史最优位置为当前位置，同时，对速度也要进行更新。当迭代次数或者阈值达到所设定的值时，权值也就找到了。在分类阶段，使用找到的权值构造分类器，用检验数i摘要据对分类器进行检验，统计正确分类的元组个数和不正确分类的元组个数，得到分类准确率，以准确率来评价该分类器，并和朴素贝叶斯分类器得到的准确率进行比较。整个实验使用的数据采用UCI数据集。文章的主要内容如下：1.回顾数据挖掘的发展历程，介绍数据挖掘的过程、挖掘数据的种类、数据预处理以及几种主要的分类算法。2.系统地研究贝叶斯分类，首先介绍相关概率论的一些知识，描述贝叶斯定理，然

5、后介绍朴素贝叶斯分类算法、贝叶斯网络以及加权朴素贝叶斯分类。3.描述粒子群优化算法，阐述了基本粒子群算法及其改进版本，包括带惯性权重的算法和带收缩因子的算法，并进行了代数分析和解析分析。4.提出基于粒子群优化的加权朴素贝叶斯分类算法，并进行实验分析。本文的创造性成果有：1．建立了贝叶斯分类的一般过程，从数据收集到预测分类，每个步骤都有详细的描述。2．提出了基于粒子群优化的加权朴素贝叶斯分类算法。实验表明，采用粒子群优化的加权朴素贝叶斯分类比朴素贝叶斯分类的准确率确实有所提高，而且在大多数数据集上可以使用。关键词：数据挖掘；分类；贝叶斯；加

6、权；粒子群优化iiAbstractAbstractDataminingisayoungandvibrantareaofresearch.Classificationisoneoftheresearchareasofdatamining.Bayesianclassificationisabroadclassificationmethod,whichisoneoftheBayesianclassificationmethods,andcanbecomparablewiththedecisiontreeandneuralnetworkclass

7、ification.Inlargedatabaseapplications,italsoshowedhighaccuracyandspeed.ButthenaiveBayesneedstomeetanassumptionthattheimpactofeachattributevalueonagivenclassisindependentofotherattributevalues.ThisclassconditionalindependencelimitstheaccuracyofnaiveBayesianclassification,b

8、ecausesometimestherearesomeattributesexistingacertainrelationshipbetweenthemanddonotmeettheindep