大数定律与抽样陷阱

《大数定律与抽样陷阱》由会员上传分享，免费在线阅读，更多相关内容在工程资料-天天文库。

1、国内最具权威的市场调研门户网站之一大数定律与抽样陷阱　　前面一篇文章——难以解释的数据异常——发出来之后，朋友推荐我去读《黑天鹅》，刚刚翻完这本书，发现书中的很多观点和细节的表述都能给人启发，尤其是“叙述谬论”和“过度解释”这个两点能对难以解释的数据异常这篇文章中描述的内容给出另一个侧面的解释。从作者塔勒布的后记和书中表述的观点来看，读过这本书的人可能很容易走入两种认识的极端：　　1、既然一些未知的黑天鹅事件可能对我们造成极大的影响，那我们就应该去努力预测这些未知事件，以便做好充分的准备来应对这些事件。但作者在书中明确说了黑天鹅事件的不可预测性

2、；　　2、既然我们无法预测未知，并且未知事件可能对我们的生活造成翻天覆地的影响，我们只能不去做任何的预测和准备，等待命运的审判。但书的副标题是“如何应对不可预知的未来”，所以作者塔勒布并不认为我们什么都做不了，至少能够认识到黑天鹅的存在，打破传统思维的局限性，谨慎地预防，黑天鹅是未知的未知，我们需要为已知的世界和已知的未知做好准备。学数据分析、找行业报告、招调查人才可移步一起调研网www.17diaoyan.com一个属于调研行业的B2B网站国内最具权威的市场调研门户网站之一　　《黑天鹅》中多次提到大数定律可能会愚弄我们，作为数理统计和概率论中

3、两个经典的理论（中心极限定理和大数定律）之一，为什么遇到黑天鹅事件时就会失效？或者说大数定律在遇到任何的小概率事件时都有可能“失效”，需要谨慎地认识，以防掉入应用中的陷阱。大数定律　　大数定律（LawofLargeNumbers），指在随机试验中，每次出现的结果不同，但是大量重复试验出现的结果的平均值却几乎总是接近于某个确定的值。典型的例子就是抛硬币的伯努利试验，当抛硬币的次数足够多的时候，正反面出现的概率都接近于1/2。　　常用的大数定律有伯努利大数定律和辛钦大数定律。其中伯努利大数定律指在n次独立试验中，事件A发生的频率为p，当n足够大时，

4、p无限接近事件A真实的发生概率，即频率的稳定性；辛钦大数定律指若n个独立同分布的随机变量存在数学期望，则当n越大时，其算法平均数越接近于这些随机变量的真实数学期望值，即均值的稳定性。　　大数定律为统计推断提供了充分的理论依据，我们可以通过抽样的方法用样本统计量的特征去估计总体的特征，而不需要去研究整个总体。当样本的数量越大时，其对总体的估计就越接近总体的真实特征。但在面对小概率事件时，大数定律对总体的估计会显得无能为力，很多时候结论是失效的。小概率事件　　假设我们进行重复10000次的伯努利试验，事件A、B、C发生的次数均满足二项分布X~B(n

5、,学数据分析、找行业报告、招调查人才可移步一起调研网www.17diaoyan.com一个属于调研行业的B2B网站国内最具权威的市场调研门户网站之一p)，n代表试验次数，p代表事件发生的概率。其中事件A发生的概率为10%、事件B发生的概率为1%、事件C发生的概率为0.1%。我们知道，满足二项分布的随机变量的均值是np，方差为np(1-p)，于是就可以用变异系数CV（具体内容参见衡量数据的离散程度这篇文章）来衡量这3个事件发生次数的变异性或者波动情况，可以得到如下的结果：事件试验次数发生概率均值方差变异系数A1000010%10009003.00

6、%B100001%100999.95%C100000.1%109.9931.60%　　从上表中可以看出，当试验的次数保持恒定时，事件发生的概率越低，则事件发生的次数会存在越大的波动性或者波动幅度，如果我们继续降低事件发生概率，比如事件D发生概率为0.01%，也就是10000次试验中发生的期望次数是1次，那么事件D的CV就高达99.99%，完全无法预判其是否发生。所以在相同的条件下，小概率事件一定比普遍发生的事件存在更大的变数，概率越小波动的幅度就越大。抽样误差　　随着网站数据量的不断增大，数据的处理和统计需要更高的成本，于是有些分析就会借助抽样

7、的方法来处理数据，Google学数据分析、找行业报告、招调查人才可移步一起调研网www.17diaoyan.com一个属于调研行业的B2B网站国内最具权威的市场调研门户网站之一Analytics的免费版当数据量达到上限时就会采用抽样的方式显示结果报表。其实很多时候我们都在使用抽样的方法分析数据，我们可能会用最近7天的数据来评估近段时间的流量变化、转化情况等，但7天并不能完全代表近段时间，其实做的也是一种抽样。下面来看看现实的网站数据分析的例子：　　转化率（ConversionRate）是网站分析中非常重要的一个指标，很多公司会把转化率当做运营产

8、品部门的KPI，但对于很多网站而言，转化率并不大，一般不会超过10%（根据网站业务特征的差异和对目标转化的定义不同，转化率在不同网站间没有一个恒定的标