资源描述：
《稀疏贝叶斯学习介绍.pdf》由会员上传分享，免费在线阅读，更多相关内容在行业资料-天天文库。
1、稀疏贝叶斯学习(SparseBayesianLearning)张智林（ZhilinZhang）z4zhang@ucsd.eduDepartmentofElectricalandComputerEngineering,UniversityofCalifornia,SanDiego,LaJolla,CA92093-0407,USA1引言稀疏贝叶斯学习（SparseBayesianLearning,SBL）最初作为一种机器学习算法由Tipping于2001年前后提出[Tipping2001]，随后被引入到稀疏信号恢复/压缩感知领域[Wip
2、f2004,Ji2008]。Wipf和Rao等人对SBL进行了深入的理论研究。与广泛使用的基于L1惩罚项的算法（比如Lasso，BasisPursuit）相比（以下简称L1算法），SBL具有一系列显著的优势：（１）在无噪情况下，除非满足一些严格的条件[Donoho2003]，L1算法的全局最小点（globalminimum）并不是真正的最稀疏的解［Wipf2004]。因此，在一些应用中，当真实的解是最稀疏的解，采用SBL是更好的选择。（２）当感知矩阵（sensingmatrix）的列与列相关性很强时，L1算法的性能会变得非常差。事实
3、上不光是L1算法，绝大多数已知的压缩感知算法（比如ApproximateMessagePassing算法，MatchingPursuit算法）在这种情况下性能都会变得很差。相比之下，SBL算法仍旧具有良好的性能［Wipf_NIPS2011]。因此，在雷达追踪，波达方向估计，脑源定位，特征提取，功率谱估计等一些列领域，SBL都具备显著的优势。（３）业已证明，SBL算法等价于一种迭代加权L1最小化算法（iterativereweightedL1minimization），而L1算法仅仅只是其第一步[Wipf2010]。Candes等人指
4、出，迭代加权L1最小化算法更易获得真正的最稀疏解[Candes2008]。从这个角度也就不难理解SBL的优越性。（４）在很多实际问题中，所期望的稀疏解常常有一些结构，而利用这些结构可以获得更好的性能[ModelCS]。作为一种贝叶斯算法，SBL算法对利用这些解的结构信息提供了更多的灵活性。这种灵活性最主要来自于SBL采用参数化的高斯分布为解的先验分布。最近Zhang和Rao提出了块稀疏贝叶斯学习框架(BlockSparseBayesianLearning,BSBL)[Zhang_IEEE2011,Zhang_TSP2012]。该框架
5、提供了一种利用解的空间结构（spatialstructure）和时序结构（temporalstructure）的解决方案。由其框架得到的算法在多任务学习（multi-tasklearning）[Wan2012]，生理信号的无线传输和远程监控[Zhang_TBME2012a,Zhang_TBME2012b]，脑源定位和脑－机接口[Zhang_PIEEE2012]等许多领域获得了极大的成功。下面将首先介绍基本的SBL框架，然后对BSBL框架及其算法进行详细介绍，并在最后给出一些代表性的实验结果。2稀疏贝叶斯学习压缩感知的基本模型可描述为
6、:y=Ax+v（1）其中A为N×M的感知矩阵，y为N×1维压缩信号，x为M维待求的解向量，v为未知的噪声向量。为求解x，SBL假设x中的每个元素都服从一个参数化的均值为０方差为γ的高斯分布[Wipf2004]：ip(x;γ)=N,0(γ),i=,1?,M（2）iii1其中x表示x中的第i个元素，γ是未知的参数，将会由算法自动估计出来。这样一种先验分布常被称ii为automaticrelevance先验分布，最初出现于人工神经网络领域[ARD1996]。在算法运行中，绝大部分的γ将会变成０（无噪情况下）或者趋于０（有噪情况下）。SBL
7、通常会采用一个阈值将趋近于０的γ置ii为０（该阈值的大小通常和信噪比有关）。当γ=0时，相应的x则为０。因此，γ与解的稀疏程度密iii切相关，也从而决定了γ的学习规则是SBL算法中最核心的部分。在SBL框架中，噪声v通常假设为高i斯白噪声向量，即p(v;λ)=N,0(λI),其中λ为噪声方差。根据以上的假设，利用贝叶斯规则很容易获M得后验分布，其也为一高斯分布。当所有的未知参数(即{γ},λ)都被估计出来后，x的最大后验估计ii=1(MaximumAPosterior)由这个高斯分布的均值给出。而这些未知参数可以由第二类最大似然估计
8、(TypeIIMaximumLikelihood)获得[Tipping2001,MacKay1992]。在以上的SBL框架中，我们把γ作为一未知的确定性参数，而没有把它视为一随机变量从而进一步i假设它的先验分布。事实上，这等同于假设γ
