8_05_dictionary_learning_algorithm

《8_05_dictionary_learning_algorithm》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、NeuralnetworksSparsecoding-dictionarylearningalgorithmSparsecodinghugo.larochelle@usherbrooke.caHugoLarochelleSparsecodingNovember1,20122Departementd’informatique´HugoLarochelleSPARSECODINGSparsecodingNovember1,2012SparsecodingDepartementd’informatique´UniversitedeSherb

2、rooke´AbstractAbstracthugo.larochelle@usherbrooke.caHugoLarochelleTopics:sparsecodingMathformyslides“Sparsecoding”.UniversitedeSherbrooke´Mathformyslides“Sparsecoding”.HugoLarochelleAbstracthugo.larochelle@usherbrooke.caDepartementd’informatique´SparsecodingDepartementd

3、’informatique´Abstract•Foreachfindalatentrepresentationsuchthat:(t)(t)Mathformyslides“Sparsecoding”.November1,2012(t)(t)•xhDUniversit•xedeSherbrooke´hDUniversitedeSherbrooke´Departementd’informatique´November1,2012HugoLarochelleMathformyslides“Sparsecoding”.1XT11XT‣itiss

4、parse:thevectorhasmanyzeros•x(t)h(t)hugo.larochelle@usherbrooke.caDhugo.larochelle@usherbrooke.ca(t)(t)2Universit(Departementd’informatique´argminargmin

5、

6、xargminDh

7、

8、2argmin+

9、

10、hAbstractUniversit(tedeSherbrooke´)(tD)TXT(t)2DT(t)‣wecanreconstructtheoriginalinputasmuchasp

11、ossible•xhDt=11hNovember1,20121(t)t=1hugo.larochelle@usherbrooke.ca(th)2Mathformyslides“Sparsecoding”.hugo.larochelle@usherbrooke.caNovember1,2012argminargmin

12、

13、xXTDh

14、

15、2+•Abstract•DTh(t)211•Moreformally:reconstructionerrorsparsitypenaltyt=1argminargmin•xMathformyslides“

16、Sparsecoding”.(t)h(t)Dxb(t)November1,201211h(x(t))=argmin

17、

18、x(t)DhDh(x(Tt)()=argmint)

19、

20、2+h(t

21、

22、)h(t2)

23、

24、•1XT12Abstractt=122(t)(t)minmin

25、

26、x(t)Dh(t)

27、

28、2+

29、

30、h(t)

31、

32、h(t)1h(t)•xhDMathformyslides“Sparsecoding”.Abstract2Abstract1(t)(t)(t)2DTTh(t)2•h(x)=argmin

33、

34、xDh

35、

36、2+1Xt=1

37、1(t)2Mathformyslides“Sparsecoding”.Mathformyslides“Sparsecoding”.argminargmin

38、

39、x(t)Dh(t)

40、

41、2+

42、

43、hreconstructionvs.(t)

44、

45、h(t)1•T•2x(t)reconstructionh(t)Dxb(2t)1h(x)=argmin

46、

47、x(t)(t)Dh(t)sparsitycontrol2•xhD(t)t=11(t)(t)2(t)XTh(t)(t)(t)h(x)=argmin

48、

49、xXTDh

50、

51、+

52、

53、hMathformysli

54、des“Sparsecoding”.

55、

56、11(t)(t)2•xh‣isequivalenttotheautoencoderoutputweightmatrixDargmin21argmin1

57、

58、x(2t)Dh(t)

59、

60、