基于神经网络的数据挖掘研究

《基于神经网络的数据挖掘研究》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、1神经网络基本概念2前馈神经网络3反馈网络模型Hopfield网络4数据挖掘技术5基于神经网络的数据挖掘研究基于神经网络的数据挖掘研究1神经网络基本概念1.1生物神经元细胞体、树突、轴突和突触。生物神经元的工作机制兴奋和抑制两种状态。（1）兴奋状态传递兴奋信号（2）抑制状态传递抑制信息1.2人工神经元人工神经元：生物神经元的简化模拟。人工神经元间的互连：信息传递路径轴突-突触-树突的简化。连接的权值：两个互连的神经元之间相互作用的强弱。图8.2人工神经元模型接收的信息(其它神经元的输出)互连强度作比较的

2、阈值n维输入向量X输出输出函数神经元的动作：输出函数f：也称作用函数，非线性。阈值型S型f为阈值型函数时：设，点积形式：式中，1.3神经网络的学习学习：从环境中获取知识并改进自身性能，主要指调节网络参数使网络达到某种度量，又称为网络的训练。实质：神经网络的最重要特征之一。神经网络学习方式---监督学习监督学习：对每一个输入训练样本，都有一个期望得到的输出值（也称教师信号），将它和实际输出值进行比较，根据两者之间的差值不断调整网络的连接权值，直到差值减少到预定的要求。教师神经网络比较环境实际输出输入期望输

3、出误差信号p(n)t(n)a(n)e(n)神经网络学习方式---无监督、自组织学习无监督学习：网络的学习完全是一种自我调整的过程，不存在教师信号。输入模式进入网络后，网络按照预先设定的某种规则反复地自动调整网络结构和连接权值，使网络最终具有模式分类等功能。神经网络环境输入1.4神经网络的结构分类分层结构有明显层次，信息流向由输入层到输出层。——前馈网络没有明显层次，任意两个神经元之间可达，具有输出单元到隐层单元或输入单元的反馈连接。——反馈网络相互连接结构2前馈神经网络2.1感知器感知器（Percept

4、ron）：F．Rosenblatt于1957年提出。感知器结构示意图*双层（输入层、输出层）；*两层单元之间为全互连；*连接权值可调。结构特点：*输出层神经元个数等于类别数。设输入模式向量，，共M类。输出层第j个神经元对应第j个模式类，θj：第j个神经元的阈值；wij：输入模式第i个分量与输出层第j个神经元间的连接权。令。取有输出为输出单元对所有输入数值加权求和，经阈值型输出函数产生一组输出模式。M类问题判决规则(神经元的输出函数)为*正确判决的关键：输出层每个神经元必须有一组合适的权值。*感知器采用监

5、督学习算法得到权值；*权值更新方法：δ学习规则。算法描述第一步：设置初始权值wij(1)，w(n+1)j(1)为第j个神经元的阈值。第二步：输入新的模式向量。第三步：计算神经元的实际输出。设第k次输入的模式向量为Xk，与第j个神经元相连的权向量为第j个神经元的实际输出为第四步：修正权值。dj：第j个神经元的期望输出。第五步：转到第二步。当全部学习样本都能正确分类时，学习过程结束。经验证明，当η随k的增加而减小时，算法一定收敛。2.2BP网络BP网络：采用BP算法（Back-PropagationTrai

6、ningAlgorithm）的多层感知器。误差反向传播算法认识最清楚、应用最广泛。性能优势：识别、分类1．多层感知器针对感知器学习算法的局限性：模式类必须线性可分。输入层第一隐层第二隐层输出层中间层为一层或多层处理单元；前馈网络；结构：只允许一层连接权可调。学习过程分为两个阶段：第一阶段（正向传播过程）：给出输入信息通过输入层经各隐层逐层处理并计算每个单元的实际输出值第二阶段（反向传播过程）：若在输出层未能得到期望的输出值，则逐层递归地计算实际输出与期望输出之间的差值（即误差），通过梯度下降法来修改权值

7、，使得总误差函数达到最小。2．BP算法BP算法的学习过程设：某层任一神经元j的输入为netj，输出为yj；相邻低一层中任一神经元i的输出为yi。jiwij：神经元i与j之间的连接权；f(∙)：神经元的输出函数。S型输出函数：θj：神经元阈值；h0：修改输出函数形状的参数。设：输出层中第k个神经元的实际输出为yk，输入为netk；与输出层相邻的隐层中任一神经元j的输出为yj。对输入模式Xp，若输出层中第k个神经元的期望输出为dpk，实际输出为ypk。输出层的输出方差：若输入N个模式，网络的系统均方差为：当

8、输入Xp时，wjk的修正增量：其中，由式得到：令，可得输出单元的误差：输出单元的修正增量：对于与输出层相邻的隐层中的神经元j和该隐层前低一层中的神经元i：输出层中神经元输出的误差反向传播到前面各层，对各层之间的权值进行修正。BP算法步骤：第一步：对权值和神经元阈值初始化：(0，1)上分布的随机数。第二步：输入样本，指定输出层各神经元的期望输出值。第三步：依次计算每层神经元的实际输出，直到输出层。第四步：从输出层开始修正每个权值，直到第一隐层