资源描述:
《8_05_dictionary_learning_algorithm》由会员上传分享,免费在线阅读,更多相关内容在学术论文-天天文库。
1、NeuralnetworksSparsecoding-dictionarylearningalgorithmSparsecodinghugo.larochelle@usherbrooke.caHugoLarochelleSparsecodingNovember1,20122Departementd’informatique´HugoLarochelleSPARSECODINGSparsecodingNovember1,2012SparsecodingDepartementd’informatique´UniversitedeSherb
2、rooke´AbstractAbstracthugo.larochelle@usherbrooke.caHugoLarochelleTopics:sparsecodingMathformyslides“Sparsecoding”.UniversitedeSherbrooke´Mathformyslides“Sparsecoding”.HugoLarochelleAbstracthugo.larochelle@usherbrooke.caDepartementd’informatique´SparsecodingDepartementd
3、’informatique´Abstract•Foreachfindalatentrepresentationsuchthat:(t)(t)Mathformyslides“Sparsecoding”.November1,2012(t)(t)•xhDUniversit•xedeSherbrooke´hDUniversitedeSherbrooke´Departementd’informatique´November1,2012HugoLarochelleMathformyslides“Sparsecoding”.1XT11XT‣itiss
4、parse:thevectorhasmanyzeros•x(t)h(t)hugo.larochelle@usherbrooke.caDhugo.larochelle@usherbrooke.ca(t)(t)2Universit(Departementd’informatique´argminargmin
5、
6、xargmin Dh
7、
8、2argmin+
9、
10、hAbstractUniversit(tedeSherbrooke´)(tD)TXT(t)2DT(t)‣wecanreconstructtheoriginalinputasmuchasp
11、ossible•xhDt=11hNovember1,20121(t)t=1hugo.larochelle@usherbrooke.ca(th)2Mathformyslides“Sparsecoding”.hugo.larochelle@usherbrooke.caNovember1,2012argminargmin
12、
13、xX TDh
14、
15、2+•Abstract•DTh(t)211•Moreformally:reconstructionerrorsparsitypenaltyt=1argminargmin•xMathformyslides“
16、Sparsecoding”.(t)h(t)Dxb(t)November1,201211h(x(t))=argmin
17、
18、x(t)D hDh(x(Tt)()=argmint)
19、
20、2+h (t
21、
22、)h(t2)
23、
24、•1XT1 2Abstractt=122(t)(t)minmin
25、
26、x(t) Dh(t)
27、
28、2+
29、
30、h(t)
31、
32、h(t)1h(t)•xhDMathformyslides“Sparsecoding”.Abstract 2Abstract 1(t)(t)(t)2DTTh(t)2•h(x)=argmin
33、
34、x Dh
35、
36、2+ 1Xt=1
37、1(t)2Mathformyslides“Sparsecoding”.Mathformyslides“Sparsecoding”.argminargmin
38、
39、x(t) Dh(t)
40、
41、2+
42、
43、hreconstructionvs.(t)
44、
45、h(t)1•T•2x(t)reconstructionh(t)Dxb(2t)1h(x)=argmin
46、
47、x(t)(t)Dh(t)sparsitycontrol2•xhD(t)t=11(t)(t)2(t)XTh(t)(t)(t)h(x)=argmin
48、
49、xXT Dh
50、
51、+
52、
53、hMathformysli
54、des“Sparsecoding”.
55、
56、11(t)(t)2•xh‣isequivalenttotheautoencoderoutputweightmatrixDargmin21argmin1
57、
58、x(2t) Dh(t)
59、
60、