大规模知识图谱数据存储-Final.pdf

《大规模知识图谱数据存储-Final.pdf》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、PlantData知识图谱实战分享会第1期大规模知识图谱数据存储胡芳槐博士上海海翼知信息科技有限公司CTO链接数据洞察价值LINKEDDATA&SMARTDATA▍语义大数据背景下的知识图谱技术▍数据存储的发展历史上半场▍知识图谱数据存储▍知识图谱时态信息存储2《人民的名义》知识图谱大数据时代大数据时代，强调的是对大规模数据综合处理的能力。从数据库到大数据（1）DBBD大数据的出现，必将颠覆传统的数据管理方式。在数据来源、数据处理方式和数据思维等方面都会对其带来革命性的变化。从数据库(DB)到大数据(BD)，不

2、只是一个简单的技术演进，两者有着本质上的差别。来源：开源技术社区Nock(洛神)从数据库到大数据（2）池塘捕鱼大海捕鱼从数据库到大数据（2）数据规模池塘捕鱼大海捕鱼MBGB/TB/PB从数据库到大数据（2）数据类型池塘捕鱼大海捕鱼•数据种类单一（少数几种）•数据种类繁多•以结构化数据为主•包含着结构化、半结构化以及非结构化的数据•半结构化和非结构化数据所占份额越来越大从数据库到大数据（2）数据模式池塘捕鱼大海捕鱼先有模式然后产生数据难以预先确定模式模式在数据出现之后才能确定且模式随着数据量的增长处于不断的演变之

3、中从数据库到大数据（2）处理对象池塘捕鱼大海捕鱼数据仅作为处理对象数据能作为一种资源来辅助解决其他诸多领域的问题从数据库到大数据（2）处理方法池塘捕鱼大海捕鱼OneSizeFitsAllNoSizeFitsAll从数据库到大数据（3）以计算为中心转变到以数据处理为中心。数据思维大数据应用挑战1：多源异构数据难以融合涉密部门顾军.生于1963年.江苏南通人企业内部数据.中国核工业公司内部数据、新闻网站、论坛帖子、微博…多源异构数据难以融合信息聚合、数据融合需求迫切！大数据应用挑战2：数据模式动态变迁困难响应速度慢人

4、员投入大维护成本高数据结构难改动扩展性差当前数据模式动态变迁困难,当客户新需求、业务新认知时程序员需痛苦的修改数据结构及业务逻辑，带来扩展性差、对客户响应慢、维护成本高等不良情况。我们需要：可自由扩展的数据模式！大数据应用挑战3：非结构化数据计算机难以理解WebofDocument计算机无法理解非结构化数据的语义企业迫切需要将非结构化数据结构化大数据应用挑战4：数据使用专业程度过高行业智能问答大幅降低数据使用门槛KnowledgeGraph:Thekeyfor‘SmartData’Things,notstring

5、s!什么是知识图谱？知识图谱旨在描述真实世界中存在的各种实体或概念，以及它们之间的关联关系。其中：•每个实体或概念用一个全局唯一确定的ID来标识，称为标识符；•每个属性—值对用来刻画实体的内在特性，而关系用来连接两个实体，刻画它们之间的关联。现实世界中有多种类型的事物事物之间有多种类型的链接知识图谱与本体知识图谱并不是本体的替代品，它是在本体的基础上进行了丰富和扩充，这种扩充主要体现在实体（Entity）层面。本体中突出和强调的是概念以及概念之间的关联关系，而知识图谱则是在本体的基础上，增加了更加丰富的关于

6、实体的信息。本体描述了知识图谱的数据模式（schema），即为知识图谱构建数据模式相当于为其建立本体。知识图谱助力人工智能Google微软小冰BingIBMWatsonHealth小黄鸡百度公子小白语义搜索聊天机器人临床决策支持百度知识图谱SiriAppleWatch出门问问GoogleNowTicwatch微软小娜百度度秘计算知识引擎私人助理穿戴设备出行助手知识图谱助力商业智能语义理解数据关联探索业务动态扩展智能数据检索业务需求技术方案数据结构化数据结构化数据融合数据结构化自由扩展

7、数据模式数据结构化行业智能问答数据结构化1.非结构化数据2.多源异构数3.数据模式动4.数据使用专数据挑战计算机难以理解据难以融合态变迁困难业程度过高知识图谱的适用场景图结构消费场景数据语义消费场景消图数据探索路径分析自然语言检索智能BI费场景关联分析图谱可视化语义标注知识推理图结构特性知识图谱为数据赋能数据语义特性数多源异构数据需要融合统一使用据有半结构或非结构化数据需要结构化场数据中存在一定数量不同类别的实体景业务上更加关注数据中实体的关联，而不仅仅是数据本身知识图谱适用于处理：关系复杂的数据、类型繁多的数据

8、、结构多变的数据。作为数据融合与链接的纽带，整合结构化、半结构化和非结构化数据知识图谱的不适用场景不适用数据场景不适用消费场景存储通常的二进制数据数据统计日志数据数据计算流式数据需借助其它工具存储和处理需要结合其它工具和方法使用并与知识图谱进行数据链接TIPS知识图谱不是银弹！依据问题寻找方法。不要为了用知识图谱也用知识图谱！数据存储的发展历史Teroda