样条变换集成罚函数偏最小二乘方法用于光谱数据重构和定量分析论文

《样条变换集成罚函数偏最小二乘方法用于光谱数据重构和定量分析论文》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、样条变换集成罚函数偏最小二乘方法用于光谱数据重构和定量分析论文【摘要】针对高维小样本光谱数据所显现的函数型数据（Functionaldata）特性、与性质参数的非线性关系及变量间存有的严重共线性，采用了样条变换集成罚函数偏最小二乘回归新技术。它首先以三次B基样条变换实现非线性光谱数据的线性化重构，随后将重构的新光谱矩阵交由罚函数偏最小二乘法（PenalizedPLS）构建其与性质参变量间的校正模型，其中罚函数中的光滑因子由交叉验证优化确定以调控模型的拟合精度。最后，通过小麦样品水分含量的近红外光谱定量分析，结果显示该技术光谱数据重构稳健，去噪明显，并有效解决高

2、维小样本的过拟合和变量间的共线性.freelax、扫描分辨率为2nm的若干波长处的吸光度值log(1/R),即维数p=701，其中R为样本的反射率，样本容量n=100，谱图如图1所示。性质参变量为小麦水分质量百分含量，数值范围在12.45%～17.36%。从原始数据集中随机划出80个构成训练集用于光谱B基样条变换的优化确定及后继校正模型建立，其余20个组成独立测试集，用于检验B基样条的光谱插值重构能力及模型的预测性能。图1小麦近红外漫反射光谱样本数据（略）Fig.1NIRdiffusereflectancespectraofples3.2实验方式与性能评价指标

3、为检验SplinePPLS方法的性能，先将训练样本Xntrain×p以“变量‘留一’交叉验证”13选定K个样条变换的B基函数，其优化评定指标为式(6)中的RMSECVspline；再以“样本个体‘留一’交叉验证”选定各变量的光滑因子φ1,φ2,…，φp及校正模型所需PLS最优成分数h，它们的优化评定指标则为式(6)中的RMSECVppls。而光谱B基样条变换的插值重构性能及校正模型的预测性能，则交由测试样本Xntest×p计算，它们的评价指标分别为式(7)中的RMSEPspline和RMSEPppls。RMSECVspline=∑pj=1∑ntraini=1

4、(xij－ij)2/(ntrain×p),RMSECVppls=∑ntraini=1(yi－i)2/ntrain（6）RMSEＰspline=∑pj=1∑ntesti=1(xij－ij)2/(ntest×p),RMSEＰppls=∑ntesti=1(yi－i)2/ntest（7）式中xij和ij分别为第i样本个体、第j波长变量下吸光度的实验值和B基样条曲线的插值；yi和i则分别为第i样本个体性质参变量的实验测试值和模型预报值。3.3结果与分析3.3.1光谱数据的B基样条变换现基于光谱阵Xntest×p，构造它们的３次B基样条逼近曲线，据此完成测试光谱阵Xnte

5、st×p的三次B基样条变换。即，先将光谱波长1100～2500nm作预设的M段划分，再实施Xntrain×p的“变量‘留一’交叉验证”实验，即依次留用一个测量位置(变量)λj的观测数据矢量x·j=x1j,x2j,…，xntrainjT作内部验证，而剩余p－１列观测数据用于样条逼近曲线的最小二乘拟合，可得ntrain个样条曲线各K=M+3个基函数的线性加权系数ci,j(l=0,1,…,M+2,i=1,2,…,ntrain),并据此实现x·j的插值估计·j。最后，将p轮循环得到的所有·j(j=0,1,…,p)代入式(6)，即可计算该M取值下的RMSECVsplin

6、e。改变M取值，并依据对插值精度RMSECVspline的要求，即可选定所需的基函数个数K。图2B基样条曲线的基函数个数优化确定及第1训练样本个体的光谱重构结果（略）Fig.2Selectionofbasicfunctionsnumberandtherebuildingspectrumcurveforthefirstsampledataa.Rootmeansquarederroratdifferentnumbersofbasicfunctions;b.28Basicfunctionsanditsrebuildingspectrumcurve.图2a显示了RM

7、SECVspline与K的相关关系，随着K的增多，RMSECVspline总体呈下降趋势，在K=28时，RMSECVspline已很小，而其后的RMSECVspline值下降有限。考虑到参数K取值越大，经B基样条变换后的拟线性变量个数将越多，且变量间将出现更多复共线性，B基样条逼近曲线易出现对训练数据的过拟合，而对包含于数据中的噪音削减不够；若K取值太小，B基样条逼近曲线对数据的插值能力将下降。因此，本研究选定K=28。图2b显示了这28个基函数及由它们所重构的第1训练样本个体光谱数据的三次B基样条逼近曲线。由图2b可见，该样条曲线实现了对光谱数据较高精度的插

8、值拟合。另外，将这28个基函数用于Xn