大数据分析中数理统计方法的正确使用.ppt

《大数据分析中数理统计方法的正确使用.ppt》由会员上传分享，免费在线阅读，更多相关内容在行业资料-天天文库。

1、作者所处理的数据属于随机变量的特定样本。作者已经掌握最基本的数理统计学常识，如概率、假设检验、均值、方差、标准差、正态分布、相关分析、回归分析、方差分析……。在科学研究中，经常会涉及到对随机变量大小、离散及分布特征的描述以及对2个或多个随机变量之间的关系描述问题。地学、环境科学研究也不例外。对随机变量及随机变量之间的关系进行定量描述的数学工具就是数理统计学。在科学研究中，能否正确使用各种数理统计方法关系到所得出结论的客观性和可信性。所以，来稿中使用的数理统计方法是否正确应是学术期刊编辑和作者极为重视的问题。目前，国内科技期刊对稿件中数理统计方法问题的重视程度存在差异。统计分析通常涉及大量的数据

2、，需要较大的计算工作量。在进行统计分析时，尽管作者可以自行编写计算程序，但在统计软件很普及的今天，这样做是毫无必要的。出于对工作效率以及对算法的通用性、可比性的考虑，一些学术期刊要求作者采用专门的数理统计软件进行统计分析。问题：作者未使用专门的数理统计软件，而采用Excel这样的电子表格软件进行数据统计分析。由于电子表格软件提供的统计分析功能十分有限，只能借助它进行较为简单的统计分析，故我们不主张作者采用这样的软件进行统计分析。目前，国际上已开发出的专门用于统计分析的商业软件很多，比较著名有SPSS(StatisticalPackageforSocialSciences)和SAS(Statis

3、ticalAnalysisSystem)。此外，还有BMDP和STATISTICA等……。SPSS是专门为社会科学领域的研究者设计的，但此软件在自然科学领域也得到广泛应用。BMDP是专门为生物学和医学领域研究者编制的统计软件。目前，国际学术界有一条不成文的约定：凡是用SPSS和SAS软件进行统计分析所获得的结果，在国际学术交流中不必说明具体算法。由此可见，SPSS和SAS软件已被各领域研究者普遍认可。我们建议作者们在进行统计分析时尽量使用这2个专门的统计软件。目前，有关这2个软件的使用教程在书店中可很容易地买到。1）均值（准确的称呼应为“样本均值”）的统计学意义：反映随机变量样本的大小特征。2

4、）均值对应于随机变量总体的数学期望—总体的数学期望客观上决定着样本的均值，反过来，通过计算样本的均值可以描述总体的数学期望。3）在处理实验数据或采样数据时，经常会遇到对相同采样或相同实验条件下同一随机变量的多个不同取值进行统计处理的问题。4）为找到代表这些观测值总体大小特征的代表值（统计量，该统计量根据样本数据算出），多数作者会不假思索地直接给出算术平均值和标准差。显然，这种做法是不严谨的——不一定总是正确的在数理统计学中，作为描述随机变量样本的总体大小特征的统计量有算术平均值、几何平均值和中位数等多个。何时用算术平均值？何时用几何平均值？以及何时用中位数？这不能由研究者根据主观意愿随意确定，

5、而要根据随机变量的分布特征确定。反映随机变量总体大小特征的统计量是数学期望，而在随机变量的分布服从正态分布时，其数学期望就可以用样本的算术平均值描述。此时，可用样本的算术平均值描述随机变量的大小特征。如果所研究的随机变量不服从正态分布，则算术平均值不能准确反映该变量的大小特征。在这种情况下，可通过假设检验来判断随机变量是否服从对数正态分布。如果服从对数正态分布，则几何平均值就是数学期望的值。此时，就可以计算变量的几何平均值。如果随机变量既不服从正态分布也不服从对数正态分布，则按现有的数理统计学知识，尚无合适的统计量描述该变量的大小特征。此时，可用中位数来描述变量的大小特征。在相关分析中，作者们

6、常犯的错误是：简单地计算Pearson积矩相关系数，而且既不给出正态分布检验结果，也往往不明确指出所计算的相关系数就是Pearson积矩相关系数。在数理统计学中，除有针对数值变量设计的Pearson积矩相关系数（对应于“参数方法”）外，还有针对顺序变量（即“秩变量”）设计的Spearman秩相关系数和Kendall秩相关系数（对应于“非参数方法”）等。Pearson积矩相关系数可用于描述2个随机变量的线性相关程度，Spearman或Kendall秩相关系数用来判断两个随机变量在二维和多维空间中是否具有某种共变趋势。在相关分析中，计算各种相关系数是有前提条件的。在相关分析中，对于秩变量，一般别无

7、选择，只能计算Spearman或Kendall秩相关系数。对于数值变量，只要条件许可，应尽量使用检验功效最高的参数方法，即计算用Pearson积矩相关系数。只有计算Pearson积矩相关系数的前提不存在时，才考虑退而求其次，计算专门为秩变量设计的Spearman或Kendall秩相关系数（尽管这样做会导致检验功效的降低）。对于数值变量，相关系数选择的依据是变量是否服从正态分布，或变换后的数据是否服