数学建模缺失数据补充及异常数据修正

《数学建模缺失数据补充及异常数据修正》由会员上传分享，免费在线阅读，更多相关内容在行业资料-天天文库。

1、...题目：数据的预处理问题摘要数据处理贯穿于社会生产和社会生活的各个领域。数据处理技术的发展及其应用的广度和深度，极大地影响着人类社会发展的进程。数据补充，异常数据的鉴别及修正，在各个领域也起到了重要作用。对于第一问，我们采用了多元线性回归的方法对缺失数据进行补充，我们将1960-2015.xls（见附表一）中的数据导入matlab。首先作出散点图，设定y(X59287)与x1(X54511)、x2(X57494)的关系为二元线性回归模型，即y=b0+b1x1+b2x2。之后作多元回归，求出系数b0=18.014，b1=0.051，b2=0.354， 所以

2、多元线性回归多项式为:Y=18.014+0.051*x1+0.354*x2。再作出残差分析图验证拟合效果，残差较小，说明回归多项式与源数据吻合得较好。若x1=30.4，x2=28.6时，y的数据缺失，则将x1，x2带入回归多项式，算出缺失值y=29.6888。类似地，若x1=40.6,x2=30.4时，y的数据缺失，则将x1，x2带入回归多项式，算出缺失值y=30.8462，即可补充缺失数据。对于第二问，我们使用了异常值检验中标准差未知的t检验法。将除可疑测定值xd以外的其余测定值当做一个总体，并假设该总体服从正态分布。由这些测定值计算平均值x与标准差s，而

3、将可疑值x当做一个样本容量为1的特殊总d体。如果xd与其余测定值同属于一个总体，则它与其余测定值之间不应有显著性差异。检测统计量为：kxdx，假设可由标准差s替代来进行检验,则检测统计量可视为：kxxsd。若统计量值大于相应置信度下的t检验法的临界值T（该临界值通过查表法得出），则将xd判为异常值。由此算法即可鉴别出相应的异常数据。对于第三问，对于问题三，我们采用了分段线性插值，最近方法插值，三次样条函数插值以及三次多项式方法插值法来修正数据异常。同时也需利用外插法修正最后一个数据的异常。通过各种插值方法的比较，发现三次样条方法较为准确，并较好的对异常数据进

4、行修正。关键词：多元线性回归，t检验法，分段线性插值，最近方法插值，三次样条插值，三次多项式插值C38姓名学号专业队长康伟振20141387032应数长望队员一卜维新20141346033网络工程队员二李兰馨20141302059应用气象......一、问题重述1.1背景在数学建模过程中总会遇到大数据问题。一般而言，在提供的数据中，不可避免会出现较多的检测异常值，怎样判断和处理这些异常值，对于提高检测结果的准确性意义重大。1.2需要解决的问题（1）给出缺失数据的补充算法；（2）给出异常数据的鉴别算法；（3）给出异常数据的修正算法。二、模型分析2.1问题（1）

5、的分析属性值数据缺失经常发生甚至不可避免。（一）较为简单的数据缺失（1）平均值填充如果空值为数值型的，就根据该属性在其他所有对象取值的平均值来填充缺失的属性值；如果空值为非数值型的，则根据众数原理，用该属性在其他所有对象的取值次数最多的值（出现频率最高的值）来补齐缺失的属性值。(2)热卡填充（就近补齐）对于包含空值的数据集，热卡填充法在完整数据中找到一个与其最相似的数据，用此相似对象的值进行填充。(3)删除元组将存在遗漏信息属性值的元组删除。(二)较为复杂的数据缺失(1)多元线性回归当有缺失的一组数据存在多个自变量时，可以考虑使用多元线性回归模型。将所有变量

6、包括因变量都先转化为标准分，再进行线性回归，此时得到的回归系数就能反映对应自变量的重要程度。2.2问题（2）的分析属性值异常数据鉴别很重要。我们可以采用异常值t检验的方法比较前后两组数据的平均值，与临界值相比较即可辨别数据异常并剔除异常数据。将除可疑测定值x以外的其余测定值当做一个总体，并假设该总体服从正d态分布。由这些测定值计算平均值x与标准差s，而将可疑值x当做一个样本容d量为1的特殊总体。如果x与其余测定值同属于一个总体，则它与其余测定值之d间不应有显著性差异。检测统计量为：kxxd，假设可由标准差s替代来进行检验,则检测统计量可视为：kxxs d。若

7、统计量值大于相应置信度下的t检验法的临界值T（该临界值通过查表法得出），则将x判为异常值。d......1.1问题（3）的分析对于数据修正，我们采用各种插值算法进行修正，这是一种行之有效的方法。（1）分段线性插值将每两个相邻的节点用直线连起来，如此形成的一条折线就是分段线性插值函数，记作Inx，它满足Inxiyi，且Inx在每个小区间xi,xi1上是线性函数Inxi0,1,,n。Inx可以表示为Inx有良好的收敛性，即对于xa,b有，用Inx计算x点的插值时，只用到x左右的两个节点，计算量与节点个数n无关。但n越大，分段越多，插值误差越小。实际上用函数表作插

8、值计算时，分段线性插值就足够了，如数学、物理中用的特