资源描述：
《从非结构化数据到大数据(BigData)整体解决方案27.pdf》由会员上传分享，免费在线阅读，更多相关内容在行业资料-天天文库。
1、从非结构化数据到大数据(BigData)李珈技术总监您所面对的是……非结构化数据75%~85%，2020–35.2ZB丰富的数据来源:Internet,企业内网,传感器网络,GB/TB/PB级……Web2.0,电子零售,传感器读数,智能终端……海量的数据总数:微博,B2B,B2C,工业实时监控,全球定位……多样的数据结构:急速的数据生成:非/半结构化,条形码,GPS,图片,医疗记录……RDBMS?什么是大数据？具有4V特性的数据称为大数据•巨大的数据量Volume•集中储存/集中计算已经无法处理巨大的数据量SOCIALVOLUMEBLOG3亿用户，每
2、天中型城市每月数十2015年全球移动终端产上亿条微博亿智能电表数据生的数据量6300PBSMARTMETER•多结构化数据VarietyVARIETY•文本/图片/视频/文档等•增长速度很快Velocity1011001010010010•海量数据的及时有效分析VELOCITY01101010101011100101010100100101•用户基数庞大/设备数量众多/实时海量/数据指数级别增长•价值密度低ValueVALUE•单条数据并无太多价值，但庞大的数据量蕴含巨大财富2011-大数据年-数据厂商拥抱大数据•Oracle–Cloudera•EM
3、C–MapR•Microsoft–Motonworks•IBM-…Cloudera政府国策-《大数据研究和发展计划》2012,3–未来的新石油CTO白宫科技政策办公室•美国奥巴马政府宣布的“大数据的研究和发展计划”，涉及美国国家科学基金、国家卫生研究院、能源部、国防部、国防部高级研究计划局、地质勘探局等6个联邦政府部门，承诺投资超过两亿美元•卫生研究院--健康与疾病相关的数据集，包括影像、分子、细胞、电生理学、化学、行为、流行病学、临床医学数据集•国际千人基因组计划创建的最大的人类遗传变异研究数据集在亚马逊网站云服务（AWS）上免费公开。大约200T
4、B，相当于1600万个塞满文本资料的文件柜或3万多个标准DVD•能源部到电网，包括宇宙学和天气数据，传感器数据大数据对部分经济领域的影响-数据来源：麦肯锡经济研究院相关经济领域主要影响美国医疗服务业每年价值3000亿美元大约0.7%的年生产率增长全球个人位置数据服务提供商收入1000亿美元或以上最终用户价值达7000亿美元美国零售业可能的净利润增长水平为60%或以上0.5-1.0%的年生产率增长制造业产品开发、组装成本降低达50%运营资本降低达7%欧洲公共部门管理每年价值2500亿欧元大约0.5%的年生产率增长传统DW难以处理大数据•传统DW系统不适
5、用于大数据的分析•数据量过于庞大•绝大部分大数据是垃圾•大数据的多样化格式•需要革新性的技术手段•海量数据“分而治之”------批量分布式并行计算Hadoop•海量数据“灵活多变”------实时分布式高吞吐高并发数据存取处理NoSQL•海量数据“跨越鸿沟”------大数据超高速装载进数据库以某银行审批新的信用卡申请为例还可以做的：针对小章进行精准营销，推小章作为某银行的送相关奢侈品、老客户，需要申请旅游的,商家联-给予小章信用卡金卡전략구분一张新的信用卡盟信息-额度上升到每月10万-提供美金自动购汇服务通过CRM分析得到的报表在DW银行内部员工
6、通过中CRM等系统查询一进下内容：行OLTP-过去的借记卡交易结论：小章是一个信进实时BI分析行-结合bigdata和信息用卡重度使用客户，过汇OLTP的信息进行-过去的信用卡交易去的信用状况良好，常总汇总数据的OLAP操信息常超支，常常进行网上数作支付据实时分析的得到关于小章的相关实信息：展社现交进一步，银行员工Bigdata分析报时BI-过去的消费行为信通过Analysis表分-过去的还款能力息Sandbox对big析以Bigdatadata做分析-性别、职业等个人特征进一步获得一下信息：形-消费潜力式结论：小章的消-还款能力费潜力巨大，信-消费
7、习惯用能力强行业大数据应用•美国百货商店购物-监管摄像头监控客户的一举一动，几分钟以后，走过的过道、挑选和放下的产品、购买的东西以及捕捉表情瞬间的视频将会被发送至印度班加罗尔的一家数据分析公司MuSigma•沃尔玛数据中心的存储能力超过4PB；Sabre分析航线及销售渠道、客户行为模式等信息•eBay分析平台每天处理的数据量高达100PB•脸谱（Facebook）每月要共享300亿条信息，百度每天要收集几千亿个网页，100PB•电商大数据应用，电信、金融、能源、零售等行业的广泛应用；淘宝-一淘网比较，每天活跃数据50TB用户移动轨迹和精准用户群集分析
8、应用选取目标客户群体CDRUserProfile大数据分析企业选址，广告推送建议10实时精准营销->只给最近
