数据科学导论-中国科学技术大学

《数据科学导论-中国科学技术大学》由会员上传分享，免费在线阅读，更多相关内容在工程资料-天天文库。

1、1数据科学导论IntroductiontoDataScience第一章数据科学基础陈恩红、刘淇Email:qiliuql@ustc.edu.cn课程主页：http://staff.ustc.edu.cn/~qiliuql/DS2018.htmlAnIntroductiontoDataScience9/3/2018课程目标2全面了解数据科学的基础知识包括数据分析的常用技术、发展前沿和应用案例了解数据的“能”与“不能”树立数据科学的基本思路初步掌握使用数据分析手段解决实际应用问题的能力9/3/2018数据科学

2、基础3数据从计算机科学的角度，所有能够输入到计算机并被计算机程序处理的符号的总称“人-机-物”三元融合，世界已经成为数据化的世界当文字成为数据当方位成为数据当沟通成为数据一切事物的数据化数据科学基础4我们生活在数据中，所有人都在制造和分享数据数据科学基础5案例：从最不可能的地方获得数据当一个人坐着的时候，他的身形、姿势和重量分布都可以量化和数据化。数据科学基础6背景：铺天盖地的“大数据”字眼大数据新闻1亿篇大数据“完全占领”了互联网和IT领域之后，开始进入各行各业，形成了政府大数据、教育大数据、医疗大数

3、据、交通大数据、金融大数据、保险大数据、公安大数据、法院大数据、旅游大数据、……数据科学基础7•李德毅院士：大数据本身，既不是科学也不是技术，它反映的是网络时代的一种客观存在你们说的大数据到底是啥？大数据的输入和输出是？我不认为数据等同于价值，哪些数据才有价值？大数据到底是噱头+忽悠，还是真金白银啊？我没看清楚大数据的价值，但很清楚大数据的大成本，真能赚回来吗？未来真的不会大数据就不能赢了吗？我用SQLServer用的好好的，一定要现在就转大数据吗？所谓的大数据牛的公司，到底牛在哪？大数据就是数据，没什么可神秘的。

4、它是一种原材料，数据库、数据挖掘、云计算、高性能计算、机器学习等都可以看作是对这种原材料进行存储烹饪加工等的手段和技术，目的就是做出各种美食（例如让AlphaGo打败李世石）数据科学基础8大数据有多大？PB是大数据层次的临界点数据量已到ZB等级KB->MB->GB->TB->PB->EB->ZB->YB->NB->DBPB以上级别的数据，最有效的传输方式是空运，而不是网络而大数据不仅仅只是量大！60秒，我们能产生多少数据？数据科学基础9客观存在的大数据数据量大(Volume)TB(2^30KB)PB(2^40

5、KB)ZB(2^60KB)Value结构化Structured流式处理Streams非结构化Unstructured实时处理RealTime半结构化Semi-structured批处理Batch数据种类多样高实时性(Variety)(Velocity)数据价值巨大数据科学基础10客观存在的大数据---Volume(数据量巨大)阿里所保有的、经过清洗的历史数据已超过100PB。——阿里数据仓库负责人七公（汪海）百度现在的数据规模已经到了EB级，每天处理的数据量到了上百PB。——百度大数据部总监薛正华全球数据总量在2

6、010年达到1.2ZB，预计2020年达到44ZB，每两年增长一倍。——IDG数字宇宙报告20141ZB=210EB=220PB=230TB=240GB•1ZB=地球上沙粒的总量，1EB=4000个美国国会图书馆的藏书数据科学基础11客观存在的大数据---Variety(数据类型多)数据形式的多样:–结构化数据，半结构化数据，非结构化数据时空数据–图像数据，语音数据，文本数据，数字化数据数据来源的多样性：–不同的IT应用系统–各种设备（物联网）–互联网图像数据–其它文本数据事务数据视频数据音频数据数据科学基础12

7、客观存在的大数据---Velocity(高实时性)1秒定律：对于大数据应用而言，必须要在1秒钟内形成答案，否则这些结果可能就是过时的、没有意义的某在线电影网站在百度输入关键字：“汽车维修”、“挖掘机学习”某IT业界资讯网站例如用户在合肥某台PC上，打开百度输入关键字片刻之后，再打开其它网站，就会看到相关的广告，并且所推荐的是地理位置信息相关的（合肥、安徽）数据科学基础13客观存在的大数据---Value(价值巨大但价值密度低)挖掘大数据中的价值类似沙里淘金，需要从海量数据中挖掘稀疏但珍贵的信息所有产业都可以应用

8、大数据产生价值价值获取难度各产业GDP占比(以美国经济为例)图：麦肯锡对各个行业从大数据中获得价值难易程度的分析(2011年)潜在价值高低数据科学基础14大数据已成为国家基础性战略资源，日益对全球经济运行机制、社会生活方式和国家治理能力产生重要影响党中央党中央、国务院高度重视大数据发展及其创新应用、国务院高度重视大数据发展及其创新应用2014.11《关