数据库应用与设计-背景介绍

《数据库应用与设计-背景介绍》由会员上传分享，免费在线阅读，更多相关内容在行业资料-天天文库。

1、第一讲背景介绍大数据到底有多大全球每天通过Internet网络传输的电子邮件多达2100亿封；Facebook每月新增10亿照片和1000万个视频；腾讯公司注册用户超过7亿，同时在线人数超过1亿......根据互联网数据中心的报告，2012年全球的数据总量为2.7Zb（1Zb相当于十万亿亿字节），预计到2020年，全球的数据总量将达到35Zb。2“大数据”的时代背景从数据谈起数据无所不在3大数据现象容量单位:从K到YK—M—G—T—P—E—Z—YKKilo1K字节=1,024字节MMeg1M字节=1,0

2、48,576字节GGiga1G字节=1,073,741,824字节TTera1T字节=1,099,511,627,776字节PPeta1P字节=1,125,899,906,842,624字节EExa1E字节=1,152,921,504,606,846,976字节ZZetta1Z字节=1,180,591,620,717,411,303,424字节YYotta1Y字节=1208,925,819,614,629,174,706,176字节4大数据现象5•海量数据就是大数据吗?大数据的来源无所不在的数据（1）•7

3、0万家企业联网“直报”统计数据•从2月18日开始，全国70万家"三上"企业和房地产开发经营企业将在统一的数据采集和处理平台上，通过互联网直接向国家数据中心或国家认定的省级数据中心报送统计数据。国家(省、市)统计局（http://www.stats.gov.cn）8无所不在的数据（2）金融高频数据：金融市场中的逐笔交易数据和逐秒交易数据。9无所不在的数据（3）在超市中，数据通过条码扫描机获得。这样的“购物篮”数据库由大量的交易记录组成。10无所不在的数据（4）全球四大卫星导航系统北斗卫星导航系统美国

4、的GPS俄罗斯的格洛纳斯欧盟的伽利略系统到2020年，北斗卫星导航系统将拥有35颗卫星（已发射15颗），形成覆盖全球的卫星网络。11无所不在的数据（5）生物信息学（人类基因组计划）神经信息学（人类脑计划）12无所不在的数据（6）13数据产生的被动、主动和自动三个阶段•运营式系统阶段•数据库的出现使得数据管理的复杂度大大降低，实际中数据库大都为运营系统所采用，作为运营系统的数据管理子系统。比如超市的销售记录系统，银行的交易记录系统、医院病人的医疗记录等。人类社会数据量第一次大的飞跃正是建立在运营式系统开

5、始广泛使用数据库开始。这个阶段最主要特点是数据往往伴随着一定的运营活动而产生并记录在数据库中的，比如超市每销售出一件产品就会在数据库中产生相应的一条销售记录。这种数据的产生方式是被动的。•用户原创内容阶段•互联网的诞生促使人类社会数据量出现第二次大的飞跃。但是真正的数据爆发产生于Web2.0时代，而Web2.0的最重要标志就是用户原创内容（UGC,UserGeneratedContent）。这类数据近几年一直呈现爆炸性的增长，主要有两个方面的原因。首先是以博客、微博为代表的新型社交网络的出现和快速发展，使

6、得用户产生数据的意愿更加强烈。其次就是以智能手机、平板电脑为代表的新型移动设备的出现，这些易携带、全天候接入网络的移动设备使得人们在网上发表自己意见的途径更为便捷。这个阶段数据的产生方式是主动的。•感知式系统阶段•人类社会数据量第三次大的飞跃最终导致了大数据的产生，今天我们正处于这个阶段。这次飞跃的根本原因在于感知式系统的广泛使用。随着技术的发展，人们已经有能力制造极其微小的带有处理功能的传感器，并开始将这些设备广泛的布置于社会的各个角落，通过这些设备来对整个社会的运转进行监控。这些设备会源源不断的产生新

7、数据，这种数据的产生方式是自动的。典型大数据应用的比较如Google的首席经济学家HalVarian所说，数据是广泛可用的，所缺乏的是从中提取出知识的能力。数据收集的根本目的是根据需求从数据中提取有用的知识，并将其应用到具体的领域之中。不同领域的大数据应用有不同的特点。什么叫大数据数据种类定义数据种类特性大数据的4V特性VALUE价值•挖掘大数据的价值类似沙里淘金,从海量数据中挖掘稀疏但珍贵的信息.•价值密度低,是大数据的一个典型特征.•美国医疗行业可获得潜在价值超过3000亿美元，医疗卫生支出降幅超过8

8、%。VARIETY多样性•企业内部的经营交易信息;物联网世界中商品,物流信息;互联网世界中人与人交互信息,位置信息等是大数据的主要来源.•能够在不同的数据类型中,进行交叉分析的技术,是大数据的核心技术之一.语义分析技术,图文转换技术,模式识别技术,地理信息技术等,都会在大数据分析时获得应用.•85%以上的数据是非结构化数据。VELOCITY速度1s是临界点.对于大数据应用而言,必须要在1秒钟内形成答案,否则处理结果就是过时和无