大数据平台数据治理和挖掘解决方案.doc

《大数据平台数据治理和挖掘解决方案.doc》由会员上传分享，免费在线阅读，更多相关内容在应用文档-天天文库。

1、大数据平台数据治理和挖掘解决方案　　大数据平台数据治理和挖掘解决方案20202大数据治理框架?大数据治理框架由三大部分组成大数据类型、大数据治理领域、行业与功能产业和功能场景保险业电信业零售业公共事业医疗保健业组织元数据隐私数据质量大数据类型web和社交媒体数据机器对机器的数据生物计量学数据大体量交易数据人工生成的数据信息治理大数据治理需要高度聚焦于数据本身。　　传统的数据治理领域同样适用于大数据大数据分析受用例驱动，用例的具体情况因产业和功能而异。　　客户服务IT业务流程整合情绪分析Facebook忠诚度计划客户流失分析索赔调查TIT日志分析车载通信技术位臵服务索赔欺诈分析智能仪表患者

2、监测索赔分析客户流失分析通话质量保证基因测试人脸识别承保电子病历RFI日志目录大数据综述2341大数据平台解决方案大数据平台数据治理方法请输入第四部分标题01大数据综述数据处理思维转变少量的样本数据数据关系力求明确清晰探求难以捉摸的因果关系要求数据精确无误全量数据乐于接受数据的纷繁复杂转而关注事物的关联关系数据的精确不是那么重要了?谷歌翻译系统为了训练其系统，收集其能找到的所有翻译；?谷歌收集了上万亿页的语料库，包括质量参差不齐的文档；?上万亿的语料库，相当于950亿句英语；?相对而言，谷歌的翻译质量还是最好的；?谷歌翻译之所以更好，不是因为它拥有一个更好的算法机制，而是增加了各种各样的

3、数据，包括有错误的数据；?在谷歌的翻译团队中，大多数工程师并不懂其翻译出来的语言；数据处理思维转变传统数据分析思维大数据分析思维案例一?聘请了20多名书评家和组成的团队，在网页上创立“亚马逊的声音”向客户推荐新书，写书评；?通过客户的购买历史，寻找客户的相似性，对客户分群进行产品推荐，推荐的总是与以往购买的相似或略有区别；?通过大量的数据分析，找出书籍之间的关联关系，即“item-to-item”,时亚马逊发生了天翻地覆的变化。　　?AMAZON销售额的三分之一于“item-to-item”的推荐系统。　　?AMAZON最终放弃了在线书评，书评团队被解散。　　案例二数据处理思维转变数据处

4、理思维转变?关联关系，预测的关键。　　很多时候，知道“是什么”就够了，没必要知道“为什么”。　　?一旦我们完成了“关联关系”分析，我们就可以继续向更深层次研究因果关系，找出背后的“为什么”?沃尔玛请把蛋挞和飓风用品摆在一起，请把啤酒和尿片摆在一起；?某信用评分公司，利用Facebook的社交圈来预测个人偿还债务的可能性；?对冲基金通过分析Twitter微博的数据文本，作为股市投资的信号；?某信用评分公司，利用Facebook的社交圈来预测个人偿还债务的可能性；?对冲基金通过分析Twitter微博的数据文本，作为股市投资的信号；其它案例大数据与BI融合**大数据的商业价值大数据主要厂商大型

5、企业和机构在寻求解决棘手的大数据问题时，往往会使用开源软件基础架构Hadoop的服务。　　由于Hadoop深受欢迎，许多公司都推出了各自版本的Hadoop，也有一些公司则围绕Hadoop提供解决方案。　　Hadoop的发行版除了社区的Apachehadoop外，cloudera，IBM，ORACLE等都提供了自己的商业版本。　　商业版主要是提供Hadoop专业的技术支持，这对一些大型企业尤其重要。　　ClouderaEMC?。　　IBMOracle大数据生态HIVEBigDataApplicationsPig!ZooKeeperSQLRAW非结构化资料汇入SQL资料汇入分散式档案系统类S

6、QL资料库系统(非即时性)分散式资料库(即时性)并行计算框架资料处理语言数据挖掘程序库大数据治理体系与数据治理体系的联系与区别?大数据治理是一项系统工程，大到大数据技术平台的搭建、组织的变革、政策的制定、流程的重组，小到元数据的管理、主数据的整合、各种类型大数据的个性化治理和大数据的行业应用。　　?组织必须治理全部大数据，将大数据治理定义如下大数据治理是广义数据治理计划的一部分，即制定与大数据有关的数据优化、隐私保护与数据变现的政策。　　将上述大数据治理的定义分解为以下部分大数据是广义数据治理计划的一部分数据治理机构必须采取以下措施，以将大数据整合到既有的数据治理框架中扩展数据治理宪章的

7、外延，将大数据治理纳入其中；拓宽数据治理委员会成员的范围，将数据科学家等大数据的超级用户吸纳进来；任命处理社交媒体等特定大数据的主管；将大数据与元数据、隐私、数据质量和主数据等数据治理准则结合。　　大数据治理关乎政策制定政策包括人们在特定情形下如何作为的成文和非成文的宣告。　　譬如，大数据治理政策可能申明，未经顾客知情并同意，组织不得将顾客的Facebook资料整合到其主数据记录中。　　大数据必须优化考虑一下组织是如何将现实世界的准