network(自组织映射类神经网路)

《network(自组织映射类神经网路)》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、SOMNeuralNetwork(自組織映射類神經網路)I.Introduction三大類型類神經網路三大天王MLP(MultilayerPerceptron)最著名的為BP(Backpropagation)(1985,D.Rumelhart,G.E.HintonandR.J.Williams;1985,D.Parker;1974,P.WerbosPh.D.Dissertation)它的前身即為Perceptron(無隱藏層)(1957,Rosenblatt)轉移函數為：Sigmoidalfunction,Linearf

2、unction學習法則為：BackPropagation學習法則建立在Delta學習法則上：△Wj=η(D-O)f’(WtX)XjSOM(SelfOrganizingMap,自組織映射圖)(1980,Kohonen)學習法則為：Winner-take-all學習法則Competitivelearningrule競爭式學習法則Hopfield(1982,Hopfield)特點:網路對稱缺點:LocalMinimum學習法則為：Hebian學習法則BoltzmannMachine(SimulatedAnnealing,模擬退

3、火)(1984,Hinton)可達到GlobalMinimum缺點:太慢A.BP談過了BPèèèSupervisedlearning學前兒童(幼兒)èèè父母扮演Supervisedlearning的主要角色上了幼稚園之後老師扮演Supervisedlearning的主要角色進入學校之後我們無時無刻都在學習èèè終生學習人的學習很多時候是èèèUnsupervisedlearning特別是出了社會之後的學習常常是Unsupervisedlearning或Reinforcementlearning14Unsupervise

4、dlearning有很多ModelSOM為代表Model之一Supervised使用的方法有所不同Unsupervised如：輸入向量是兩個類別時Sèè分類功能èè不同的輸入èè不同的輸出(0或1)Uèè特徵找尋功能èè輸出向量可以正確反應輸入向量之特徵X2∵Unsupervisedlearning不能由老師預先指定輸入向量屬於某一類時對應的輸出向量為何XD···············X1因此如果輸入向量在空間中為隨機分佈而此分佈有朝向某一方向的特徵，X在D所示的方向上的投影量最大如果要讓輸出向量èè反應這個特徵時即當

5、輸入向量愈朝向箭頭D時輸出向量愈大反之輸出向量愈小如果X在向量空間中屬於兩個不同的類別它們各自有自己的聚類區14X2第一類聚類區X1第二類聚類區如果輸出能夠反映輸入向量的特徵時顯然當輸入屬於不同類別時，相應的輸出值會有明顯的差異從而很容易完成分類的功能例：社區有1000戶人家，每一戶人家觀念上或多或少有差異角頭的出現，每一個角頭都代表一群人我們希望每一個角頭都具有代表性因為角頭的數量愈多èèèè投資成本愈高觀念相近價值觀相近審美觀相近(吃檳榔、綁頭巾)英雄觀相近(黑道、凶狠、殺人無數的大哥)人生觀相近職業相近信仰相近如果

6、社區裡原有10個角頭，現在新搬來一家各角頭是否要調整來爭取容納這一家呢？會不會因為這麼一調整，花費成本太高？或與其他成員漸行漸達？·X···14找特徵的方法，觀念來自於人腦視覺腦細胞聽覺腦細胞光波：頻率振福波形聲波：頻率振福波形外來的刺激大腦具有相似功能的腦細胞通常會聚集在一起èèè專司視覺、聽覺、味覺等區塊的腦細胞èèè物以類聚的特性低層次的神經元是預先排好的高層次的神經組織則是通過學習自組織形成的改變彼此內的連接關係1011´(103~105)=1014~1016II.DevelopmentHistoryofSOMS

7、OM：芬蘭赫爾辛基大學的Kohonen教授發展出來用於語音識別(芬蘭語、日語(NHK投資開發))èèè類神經網路語音打字機(NeuralPhoneticTypewriter)1)Accuracyvariesbetween92～97%dependingonspeakeranddifficultyoftext2)Isolated-wordrecognitionfroma1000wordvocabularyispossiblewithanaccuracyof96to98%3)Duringlearning,anewspeaker

8、requiresdictationof100words,andthelearningprocesscanproceedconcurrentlywithdictation144)Totallearningtime»12minutes該系統係用80186做出來的5)Mean-Delay»250msperword6)Spe