大数据案例分享.pdf

《大数据案例分享.pdf》由会员上传分享，免费在线阅读，更多相关内容在行业资料-天天文库。

1、拨开“云”层看大数据宝德Bigdata案例分享Dept:云计算事业部By:李强2014-02-15汇报提纲大数据市场发展趋势大数据行业应用宝德Bigdata产品宝德Bigdata案例分享云计算，决定未来经济的12大颠覆技术之一麦肯锡列举的颠覆性技术及其潜在的经济影响程度中国云服务市场规模中国大数据市场趋势年复合增长率，%,2010-2016大数据数据技术与服务预估,2016中国市场大数据技术与服务收入,20112012IDCSource:ChinaBigDataTechnologyand

2、Services2012–2015Forecast&Analysis,IDC#CN2670201U大数据行业应用大数据行业应用契合度优先关注行业用户应用特点与大数据技值得关注行业政府（公共事业）术有较高的契合度，用户互联网（电子在主客观条件上也有商务）High较高的应用可能性。应有特点与大医疗电信数据的契合度及应用可能性制造•纵轴契合度：综合较高金融表示该用户的IT应用能源（电力/石特点与大数据特性的油）契合程度；智慧城市适当关注行Mid教育业用户零售流通•横轴应用可能性：表示该用户出于主客观交

3、通因素在短期内投资大两个维度暂时都不具备数据的可能性；优势，可适•注：当给予关注该位置为分析师访谈媒体、移动互联网的综合印象，为定性Low分析，图中位置不代表具体数值应用可能性LowMidHigh政府6风起云涌的创新革命性大数据应用电信医疗•详单和账单的采集、存储、实时查询和统计•电子病历的实时查询、搜索和实时共享•用户上网记录的采集、查询、统计•医疗影像数据的存储和检索•用户行为分析，套餐推荐•疾病的趋势分析，流行病告警•用户流失性分析•计算机辅助诊断（疾病分类等）•3G网络优化，流量优化，网

4、间优化•药物效果分析•基站参数采集和分析•药物相互作用（副作用）分析公共部门金融•智能交通系统：•非结构化数据（例如签名、影像等）交通信息的实时采集、实时统计和实时查询的存储和检索交通信息的实时分析，例如区间测速•准实时的交易统计和分析交通状况的模式分析和优化•交易相关性分析•智慧城市安保系统：图像视频的存储、检索和比对•客户风险分析•物联网：传感器数据的实时采集、实时分析和实时•交易监控、合规分析、法规遵从告警零售制造•统计和分析:准实时的售卖点销售统计•设备参数采集和监控•决策支持：从库存管

5、理、价格制定到新店选址•感器数据实时采集、分析和实时告警•新的商业/服务模式：定向广告、优惠券、日•失效分析和损失预估常生活助理等•预测性分析传统NAS和SAN主要应用结构化的块数据和文件数据数据库(Oracle,SQL,mysql)文本,字符串大量的小文件,适度大小的存储随机读写访问可预计稳定的容量增长Bigdata处理平台应用非结构化数据传感器数据文档视频和图形数据仓库卫星遥感音乐音频文件交易记录计算机建模这些数据的特点：有不可预知的暴发增长单位时间内极大的数据流量需要有序的读写X86架构产

6、品宝德Bigdata产品架构—总体框图宝德Bigdata性能宝德Bigdata智能交通案例分享案例分享：某某公安1.业务描述：•年过车信息数据量达数百亿级记录规模•市局和区县的数据中心两级架构，分布式存储，集中管理。•支持多条件组合快速查询：卡口名称、车道名称、车辆类型、车牌类型、车牌号码、车身颜色、车牌颜色、车速范围、车长范围、号牌段范围、时间范围。•支持海量过车信息的模糊匹配检索。•支持各种统计分析、数据挖掘：车辆违章率统计、过车识别率统计、套牌分析、关联性分析、黑名单等2.系统需求：•数据

7、量（过车记录+违章图片+数据冗余+异地容灾）：~6PB•数据采集终端：12000个，写入性能>24000记录/秒•用户数：>1000集群规模及指标及特点IntelHadoop集群约400台服务器每台服务器配置12块1TSATA硬盘，48GBDDR3内存，两路八核Intel至强服务器集群性能：写入100000条记录/秒，20000主键查询/秒系统特点：解决了海量过车信息（结构文本+图片）存储问题。解决了分布式数据查询问题。系统提供了易于使用的API，方便进行二次开发。系统做了

8、较多优化，性能很好的满足了项目的实时性要求。智能交通应用技术架构系统的稳定性好。数据仓库体系结构监测、运行与维护工具-hive公安数据库OLAP服务器应用系统元数据管理交管数据等查询决策者等报表数据仓库抽取、清理管理系统--交管数据库装载、刷新服务违章等分析数据立方套牌车等挖掘文档视频资料实时监控等……云存储HadoopOracle，其他数OLAP服务器等大数据mysql等据库….库数据源数据存储管理-数据集市OLAP前端展示数据共享外网内网门户门户领导业务人员公众业务应用违章等决策指挥查询分