大数据时代-思维变革---3更好

《大数据时代-思维变革---3更好》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、1.大数据时代的思维变革1.大数据时代的思维变革——更好“更好”——不是因果关系，而是相关关系知道“是什么”就够了，没必要知道“为什么”。在大数据时代，我们不必非得知道现象背后的原因，而是要让数据自己“发声”。关联物，预测的关键“是什么”，而不是“为什么”改变，从操作方式开始大数据，改变人类探索世界的方法林登与亚马逊推荐系统1997年，林登，亚马逊，推荐书籍1998年“item-to-item”协同过滤技术书评团队被解散评论家所创造的销售业绩计算机生成内容所产生的销售业绩海明威作品与菲茨杰拉德的书知道是什么就够了，没必要知道为什么据说亚马逊销

2、售额的三分之一都是来自于它的个性化推荐系统。关联物，预测的关键相关关系：相关关系的核心是量化两个数据值之间的数理关系。强和弱通过给我们找到一个现象的良好的关联物，相关关系可以帮助我们捕捉现在和预测未来。实例：沃尔玛——蛋挞与飓风生活中的相关关系身高与前臂的长度小数据时代的相关关系大数据时代的相关关系谷歌流感预测：5亿个数学模型建立在相关关系分析法基础上的预测是大数据的核心。数据驱动的关于大数据的相关关系分析法，取代了基于假想的易出错的方法。大数据的相关关系分析法更准确、更快，而且不易受偏见的影响。实例FICO提出“遵从医嘱评分”一系列变量→是

3、否按时吃药益百利预测个人收入信用卡交易记录→预测个人收入1$证明一个人的收入状况10$中英人寿保险公司申请人的健康隐患信用报告、市场分析报告→高血压、糖尿病和抑郁症5$血液尿液样本130$美国折扣零售商塔吉特怀孕预测预测分析法一个能发现可能的流行歌曲的算法系统防止机器失效和建筑倒塌异常情况与正常情况通过找出一个关联物并监控它，我们就能预测未来。实例：UPS与汽车维修预测2000年，60000辆收集和分析数据的花费比出现停产的损失小得多。当收集、存储和分析数据的成本较高的时候，应该适当地丢弃一些数据。医疗设备获取病人的数据安大略理工大学IBM医

4、院卡罗琳·麦格雷戈检测处理即时的病人信息早产儿病情诊断16个数据点1260/秒在明显感染症状出现的24小时之前，可发现早产儿的稳定是病情感染前的准备..是什么，而不是为什么在小数据时代，相关关系分析和因果分析都不容易，都耗费巨大，都要从建立假设开始。非线性关系小数据时代，计算机能力的不足限制了非线性关系的研究实例：幸福的非线性关系因果关系是否存在不费力的快速思维费力的慢性思维实例：感冒、狂犬疫苗我们的直接愿望就是了解因果关系。即使无因果联系存在，我们也还是会假定其存在。研究证明，这只是我们的认知方式，与每个人的文化背景、生长环境以及教育水平是

5、无关的。当我们看到两件事情接连发生的时候，我们会习惯性地从因果关系的角度来看待它们。看看下面的三句话：弗雷德的父母迟到了；供应商快到了；弗雷德生气了。……弗雷德为什么生气?快速思维模式使人们偏向用因果联系来看待周围的一切，即使这种关系并不存在。冬天不戴帽子和感冒狂犬疫苗这个例子来说，1885年7月6日，法国化学家路易·巴斯德（LouisPasteur）接诊了一个9岁的小孩约瑟夫·梅斯特（JosephMeister），他被带有狂犬病毒的狗咬了。巴斯德刚刚研发出狂犬疫苗，也实验验证过效果了。梅斯特的父母就恳求巴斯德给他们的儿子注射一针。巴斯德做了

6、，梅斯特活了下来。发布会上，巴斯德因为把一个小男孩从死神手中救出而大受褒奖。一般来说，人被狂犬病狗咬后患上狂犬病的概率只有七分之一。相关关系很有用，不仅仅是因为它能为我们提供新的视角，而且提供的视角都是很清晰的。而我们一旦把因果关系考虑进去，这些视角就有可能被蒙蔽掉。实例：kaggle二手车质量竞赛橙色的车因果是相关关系的一种。相关关系分析通常情况下能取代因果关系起作用，即使不可取代的情况下，它也能指导因果关系起作用。实例：曼哈顿沙井盖的爆炸改变，从操作开始实例：曼哈顿沙井盖爆炸每年，因沙井盖内部失火，纽约每年有很多沙井盖会发生爆炸。联合爱迪

7、生电力公司（ConEdison）每年都会对沙井盖进行常规检查和维修。2007年，联合爱迪生电力公司向哥伦比亚大学的统计学家求助，希望他们通过对一些历史数据的研究，预测出可能会出现问题并且需要维修的沙井盖。改变，从操作开始这是一个复杂的大数据问题。仅纽约，地下电缆就有15万公里；曼哈顿有大约51000个沙井盖和服务设施，很多设施都是在爱迪生那个时代建成的有二十分之一的电缆在1930年之前就铺好了。1880以来的数据都保存着，却很杂乱，改变，从操作开始这是一个复杂的大数据问题。仅纽约，地下电缆就有15万公里；曼哈顿有大约51000个沙井盖和服务设

8、施，很多设施都是在爱迪生那个时代建成的有二十分之一的电缆在1930年之前就铺好了。1880以来的数据都保存着，却很杂乱，负责这个项目的统计学家辛西亚·鲁丁（Cynt