大数据时代背景下统计数据质量的评估方法及适用性分析.pdf

《大数据时代背景下统计数据质量的评估方法及适用性分析.pdf》由会员上传分享，免费在线阅读，更多相关内容在行业资料-天天文库。

1、祝君仪：大数据时代背景下统计数据质量的评估方法及适用性分析前沿理论大数据时代背景下统计数据质量的评估方法及适用性分析祝君仪(上海大学理学院，上海200444)[摘要]阐述了大数据时代的统计数据特征和质量准确性需求，分析了包括逻辑规则检验、核算数据重估、计量模型分析、统计分布验证、调查偏差评估、多维评估延伸六种评估方法的概念特征以及适用性。为了适应大数据时代的发展需求，需要加强对统计数据质量评估方法的研究力度，进一步完善评估体系，实现中国统计研究的新变革。[关键词】大数据；统计数据；准确性；评估方法；适用性[DOI]l

2、O．13939／j．cnki．zgsc．2015．29．041战。传统的单一维度的样本抽查的研究分析模式已经不足1大数据的出现与应对以保证统计数据的准确性。因此，我们不仅要扩大研究分1．1大数据的概念特征析的样本量保证统计结果的客观性和真实性，还要通过增大数据的概念从字面上可以理解为庞大的数据集合，加反馈信息的呈现路径，激发目标群体的新型互动模式，当然，如今的数据早已不局限于单一的数值变化，而是在将文字、图片、视频、音频等都纳入数据库，从而增加数数字网络概念中彼此交叠幂次增长的非结构化信息统筹。据维度，获取高品质海量

3、数据，实现统计研究新变革。根据IDC报告，我们可知全球数据量的惊人变化，20092大数据时代背景下统计数据质量的界定年80万PB，2010年增幅达50％，达到了120万PB，至2011年跃至190万PB，激增的数据量印证着大数据时代2．1统计数据质量的含义的到来，见下图。统计数据质量的核心在于其准确性，在大数据时代背景下，统计数据质量还需考量统计目的，即满足统计目的的具有准确性的统计数据呈现。2．2统计数据质量的特征根据上述统计数据质量的含义，我们可以提炼出有关大数据时代背景下统计数据质量的两点特征。第一，是针万PB

4、对数据内容，应在客户接受范围内控制误差，保证数据采集处理的快速及时，并符合统计目的。第二，是针对数据呈现，要有规范性的阐述，保证统计数据的口径计算等采用相对一致的方式，表达完整，直观易懂，尽量避免歧义冗长。2009-2011年的数据量变化柱状图3各类统计数据质量的评估方法及适用性分析虽然对于大数据还没有约定熟成的理论定义，但是在3．1逻辑规则检验本文中我们不妨直观地将其理解为涵盖数值数据和非结构逻辑规则检验法，是宏观的针对总量数据的一种评估化数据，并对其进行分析整合的海量数据集。方法，即根据统计数据中各个指标之间相互

5、作用，彼此粘大数据的几项具有辨识度的特征，首先是数据集在体连的内在逻辑关系，来衡量测试数据的真实性和可信度。量上应超越TB数量级，其次是数据信息应多样化，有数由于这种逻辑规则检验法是基于传统的统计理论。且值数据，也有像是图片、视频、音频等非结构化数据，再可操作性强，易被客户理解接受，所以在实际统计数据评次是数据的产生、采集和处理应快速及时，最后是数据集估中应用广泛，常被用于政府统计部门的统计工作。但整合的数据信息应具有全面性和有效性。是，这种方法存在明显漏洞，因为其检验规则过于单一，1．2大数据对统计研究的挑战只要不

6、出现重大逻辑冲突则推论出数据可信，加上即使出大数据的庞大数据体量，快速增长处理需求，多样化现了逻辑矛盾，仅通过比较无法获知问题所在，无法确定全面性数据整合等现实情况都让统计研究面临着巨大挑问题数据的准确范围无法规避结果的多重性，使得结果相2015．7舡前沿理论中国市场2015年第29期(总第844期)对粗略草率。定，计量模型的构建，同时在区域范围内实现多次重复根据以上分析判断逻辑规则检验法的适用性，我们可调查的难度也很大，因此，调查偏差评估的实际应用有以将其作为初步评估统计数据的方法，在宏观经济统计数限，当下仅适用于

7、像人口普查这类的地区性普查统计数据中以它为基础，结合其他方法，进行复式检验，能够更据的分析。好地得出统计结论，获得民众理解和认可。3．6多维评估延伸3．2核算数据重估由于大数据时代统计数据内容的多样性，多维化，评核算数据重估法，是一种对于逻辑规则检验法延伸拓估方法的多维延伸也成为必然。所谓多维评估法目前涉及展的评估方法，即基于待评估数据的核算体系重新设定的四种的评估路径，即多级量度、指标检测、用户需求，以统计指标，从而重新估算统计数据，然后对比现实数据，及统筹综合。虽然由于长期以来对数值统计分析的侧重，实现对统计数据

8、质量的评估。这种评估方法的基本思路是多维评估还在发展阶段，尚不成熟，但是随着统计数据的一种在重新计量中的重复调查，扩充针对性的资料，将理非结构化特性日益彰显和人们对于统计数据质量要求的日想数据与实际数据对比分析，找出问题所在。益提升，多维化评估将逐渐受到重视，得到完善应用。这种重估统计指标的评估方法与逻辑规则检验一样是4结论在假设基础核算构成准