基于注意机制的神经网络利用认知反馈进行特征选择

《基于注意机制的神经网络利用认知反馈进行特征选择》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、基于注意机制的神经网络：利用认知反馈进行特征选择(申请清华大学工学硕士学位论文)培养单位：医学院学科：生物医学工程研究生：王潜指导教师:宋森教授二○一五年十二月摘要摘要人工神经网络已经在诸多模式识别问题上获得了重要的进展，但对于复杂场景中的多目标识别与分离任务，现有的神经网络模型仍不能完全胜任这个任务。长久以来，神经科学对注意力的研究为这类复杂任务的解决提供了一个值得注意的探索方向，但迄今为止仍然没有一个基于这类机制的模型能够在实际的识别任务中达到良好的效果。本文的目标就是建立一个基于注意力机制的神经网络模型以处理复杂场景中的多任务识别与分离任务，并证明其在实际环境下运行的可行性和优越性。为此

2、，我们发展出了名为注意神经网络（aNN）的神经网络模型。注意神经网络是一个新的神经网络框架，在这个框架中，我们将自底向上的特征提取过程和自顶向下的认知偏置统一在一个结构中。自顶向下的认知调制被证明对于高噪声环境下的目标识别以及复杂场景中的图像分割有特别有效的效果，这个过程与神经网络模型通常使用的特征提取过程一起，形成了对目标进行选择与分割进而识别的机制。我们的系统是模块化并易于拓展的，同样也易于训练，在运行过程中相对其他方法需要消耗更少的资源，但却能表现出复杂的类似于人类神经系统的行为。在手写体数字识别数据集MNIST数据集的变种数据集上，该方法获得了优于或等价于迄今为止最好的判别精确度，其中

3、在白噪声干扰数据集MNIST-background-rand上达到了3.22%的错误率，超过了以往任何模型的水平；在图像干扰数据集MNIST-background-image上达到了15.33%的错误率，近似于以往的最优水平。该模型也在更困难的任务：重叠数字分割的任务中成功的达到了很高的成功率。在我们定义的MNIST-2重叠数字数据集上，该模型以95.46%的准确度识别出了至少一个数字，接近了人类所能达到的水准。我们认为这样一个框架对于建立一个能够将多种认知能力，包括识别，分割，追踪等目前相对独立的任务整合在一起的系统将是一个坚实的基础。在此基础上，我们展望了利用注意神经网络解决多种目标识别问

4、题的前景以及在实际工程中应用的可能性。关键词：人工神经网络；注意机制；图像识别；图像分割；认知反馈调节IAbstractAbstractArtificialNeuralNetworkresearchhasgotgreatprogressinmanypatternrecognitionproblems,buttheyarestillnotcompetentformultipleobjectsrecognitionandsegmentationtaskincomplexsceneuntilnow.Neuroscienceresearchinattentionmechanismhaspointedo

5、utapossiblesolutionforthisproblem,butthereisstillnotanymodelbasedonthismechanismhavegotgoodperformanceinreal-worlddata.Thegoalofthispaperisbuildinganeuralnetworkmodelbasedonattentionmechanismformultipleobjectsrecognitionandsegmentationproblemincomplexscene,andproveingitscompetenceinrealworlddata.For

6、thisgoal,wedevelopedanewneuralnetworkmodelnamedAttentionalNeuralNetwork(aNN).AttentionalNeuralNetworkisanewframeworkthatintegratestop-downcognitivebiasandbottom-upfeatureextractioninacoherentarchitecture.Thetop-downinfluenceisespeciallyeffectivewhendealingwithhighnoiseordifficultsegmentationproblems

7、.Itworkswithfeatureextractingprocessusedbygeneralfeed-forwardneuralnetwork,constructedaentiretywhichcanselect,segmentandrecognizeobjects.Oursystemismodularandextensible.Itisalsoeasytotrainandcheaptoru