资源描述：
《elements of statistical learning sol2》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。
1、ElementsofStatisticalLearningSolutionstotheExercisesYuZhang,sjtuzy@gmail.comNovember25,2009Exercise2.6Consideraregressionproblemwithinputsxiandoutputsyi,andaparameterizedmodelf(x)tobefitbyleastsquares.Showthatifthereareobservationswithtiedoridenticalvaluesofx,thent
2、hefitcanbeobtainedfromareducedweightedleastsquaresproblem.ProofForknownheteroskedasticity(e.g.,groupeddatawithknowngroupsizes),useweightedleastsquares(WLS)toobtainefficientunbiasedesti-mates.Fig.1explains“Observationswithtiedoridenticalvaluesofx”.In•7••6••5•y•4••3••2•
3、10152025xWLS.01Figure1:Observationswithtiedthetextbook,section2.7.1alsoexplainthisproblem.1Iftherearemultipleobservationpairsxi;yil;l=1;2:::;Niateachvalueofxi,theriskislimitedasfollows:∑∑Ni∑∑Niargmin(f(x)−y)2=argmin(Nf(x)2−2f(x)yiiliiiilil=1il∑Ni+y2)ill∑=argmi
4、nN{(f(x)−y)2+Constant}iiii∑=argminN{(f(x)−y)2}(1)iiiiwhichisaweightedleastsquaresproblem.Exercise3.19Showthat
5、
6、ˆridge
7、
8、increasesasitstuningparameter→0.Doesthesamepropertyholdforthelassoandpartialleastsquaresesti-mates?Forthelatter,considerthe“tuningparameter”t
9、obethesuccessivestepsinthealgorithm.ProofLet2<1and1; 2betheoptimalsolution.Wedenotethelossfunctionasfollowsf()=
10、
11、Y−X
12、
13、+
14、
15、
16、
17、22Thenwehavef1(2)+f2(1)≥f2(2)+f1(1)
18、
19、
20、
21、2+
22、
23、
24、
25、2≥
26、
27、
28、
29、2+
30、
31、
32、
33、212221222211(−)
34、
35、
36、
37、2≥(−)
38、
39、
40、
41、212221212
42、
43、
44、
45、2≥
46、
47、
48、
49、22212So
50、
51、ˆridge
52、
53、incr
54、easesasitstuningparameter→0.Similarly,inlassocase,
55、
56、ˆ
57、
58、1increaseas→0.Butthiscan’tguaranteethel2-normincrease.Fig.2isadirectviewofthisproperty.Inpartialleastsquarecase,itcanbeshownthatthePLSalgorithmisequivalenttotheconjugategradientmethod.Thisisaprocedurethatiter
59、ativelycomputesapproximatesolutionsof
60、A=b
61、byminimizingthequadraticfunction1⊤⊤A −b2alongdirectionsthatare
62、A
63、-orthogonal(Ex.3.18).Theapproximatesolu-tionobtainedaftermstepsisequaltothePLSestimatorobtainedafterpiterations.Thecanonicalalgorithmcanbewrittenasfollows:2Fi
64、gure2:Lasso1.Initialization0=0;d0=r0=b−A 0=bdHri2.a=iidHAdii3.i+1=i+aidi4.ri+1=b−A i+1(=ri−aiAdi)rHAdii+15.bi=−HdiAdi6.di+1=ri+1+bidiThesquaredno
