大数据企业架构讨论

《大数据企业架构讨论》由会员上传分享，免费在线阅读，更多相关内容在行业资料-天天文库。

1、大数据企业架构讨论案例研究：智慧交通大数据实时处理和分析目的：提高城市交通的科学管理和组织服务水平业务目标•压力传感器传感•速度传感器•智能交通数据的有力支撑器•生物传感器•智能交通公共信息服务的实时传递和快速反•温度、湿度……应的应急指挥•智能交通业务联动快速应对变化•射频天线扫描RFID•可视化事件跟踪•电子标识挑战摄像•高速拍照头•高清摄像头•近千万辆轿车、轨道交通、快速公交系统•高并发事件及数据流的实时处理•海量非结构化大数据的组织与分析智能交通整体规划架构信息服务用户服务政府企业公共个人ITS智能交通物联网平台城市综合信息管理平台铁

2、路综合管理平台水运综合管理平台应用层/公路可视化综合信息平台公共交通运营管理平台信息处理电警雷达测速GIS通信监控车次号识别信号接处警卡口视频监控ETC紧急救援CBTCPIS交通诱导信号控制事件检测旅行时间路径识别BRT出行者信息系统智能停车场电子站牌公交调度管理网络层/车地双向实时无线通信网数传电台政府专网Internet信息传输GPRS/CDMA/3G/Wi-Fi/WiMax光纤TCP/IP感知层/信息采集交通行业3数据获取数据传输数据处理数据是智能交通的核心数据获取数据传输数据处理•低延时•深度分析•高并发的交易•敏捷开发•高度灵活的数

3、据结构•大吞吐量•高度扩展性•实时准备•实时分析结果•所有的数据源及数据结构4DiscussionPeople.Process.Portfolio.实时事件处理—概念图解业务场景实时•重要车辆监控警报•交通诱导•BPEL•出行者信息NoSQL•移动•信息板•数据库•技术机遇•实时处理大数据量流•合并历史事务和实时事务（CEP引擎）批处理架构决策•实时流HDFS•利用现有分析•最大限度地减少数据移动实时分析数据流历史数据源实时数据源计算配置文件事件处理规则和结果外部数据库黑名单小型机Hadoop集群历史事务备份实时事务CEP（基于消息）历史配置

4、文件NOSQLRDBMSRDBMS事务实时位置关联和分析—概念图解业务机会•行车路线建议•信号控制•交通流量分析HDFS数据仓库技术选择•将缩减结果集成到关系数据数据库中的BI库MapReduce•构建另一个环境分析平台与分析•手动关联架构决策NoSQL数据集市•使用集成元数据•使用标准BI平台•最大限度地减少数据移动实时处理和分析—逻辑图解关键组件消息流CEP/SOA•Oracle大数据机Coherence•OracleExalogicOracle•OracleCEP/CoherenceExalogic•OracleSOASuiteHDFS

5、和NoSQL•Oracle大数据连接器MapReduceOracleAdvancedInfiniAnalyticsOracleBI•OracleExadataBandInfiniBand•OracleAdvancedAnalyticsOracle大数据连接器•OracleExalyticsOracleOracleOracle大数据机ExadataExalytics•OracleBIFoundationDiscussionPeople.Process.Portfolio.问题•请为自己公司/单位设计一个大数据的解决方案。分组讨论结束之后，每组派

6、一到两个代表上来讲一下这个方案•A)公司里存在哪些数据•结构化/多结构化/大小/实时数据/流式数据•公司是否已经应用了非关系型数据库•B)那些业务考虑引入大数据•C)有了这些大数据，如何设计公司的大数据平台•D)公司数据的问题或者远景•企业的数据架构远景案例：Facebook数据仓库架构Hadoop@Facebook世界上第二大Hadoop集群用于处理log和dimensiondataUseCase•从大量数据中产生每天和每小时的汇总.•在历史数据中执行adhocjobs•事实上作为一个长期的数据归档•根据特定属性来查找log,可用于维护站点

7、的一致性，保护用户免受垃圾邮件影响13HadoopMap/Reduce实时分析—真实情况“WiththepathsthatgothroughHadoop[atYahoo!],thelatencyisaboutfifteenminutes.…Itwillneverbetruereal-time..”(YahooCTORaymieStata)Hadoop/Hive..Notrealtime.Manydependencies.Lotsofpointsoffailure.Complicatedsystem.Notdependableenoughtoh

8、itrealtimegoals(AlexHimel,EngineeringManageratFacebook.)"MapReduceandotherbatch-pr