第11章++概率图模型(上)

《第11章++概率图模型(上)》由会员上传分享，免费在线阅读，更多相关内容在行业资料-天天文库。

1、第11章概率图模型王泉中国科学院大学网络空间安全学院2016年11月目录•11.1概述•11.2有向图模型：贝叶斯网络•11.3无向图模型：马尔可夫随机场•11.4学习与推断•11.5隐马尔可夫模型•11.6条件随机场•11.7话题模型目录•11.1概述•11.2有向图模型：贝叶斯网络•11.3无向图模型：马尔可夫随机场•11.4学习与推断•11.5隐马尔可夫模型•11.6条件随机场•11.7话题模型信封问题•桌上有两个信封，其中一个信封装有一个红球（100美元）和一个黑球，另外一个信封装有两个黑球•你随机选了一个信封并从中随机取出一个球，发现是黑球•这

2、时你被告知可以有一次换信封重新取球的机会，你会选择换还是不换？信封问题•随机变量?∈1,0,?∈红,黑•??=1=??=0=12•??=红E=1=12,??=红E=0=0信封问题•随机变量?∈1,0,?∈红,黑•??=1=??=0=12•??=红E=1=12,??=红E=0=0•实际上我们考察：??=1?=黑≥12?信封问题•随机变量?∈1,0,?∈红,黑•??=1=??=0=12•??=红E=1=12,??=红E=0=0•实际上我们考察：??=1?=黑≥12???=黑?=1??=11??=1?=黑==换!!??=黑?=1??=1+??=黑?=0??=0

3、3信封问题•随机变量?∈1,0,?∈红,黑•??=1=??=0=12•??=红E=1=12,??=红E=0=0??=1??=0???=红??=黑121211212001西瓜分类问题•基于西瓜的相关属性预测他们是不是好瓜?1≔色泽∈乌黑,青绿,浅白???1,?2,?3,?4,?5,?6?2≔根蒂∈蜷缩,稍蜷,硬挺?(?,?1,?2,?3,?4,?5,?6)?3≔敲声∈沉闷,浊响,清脆?4≔纹理∈清晰,稍糊,模糊?5≔脐部∈凹陷,稍凹,平坦?6≔触感∈硬滑,软粘?≔好瓜∈是,否西瓜分类问题•基于西瓜的相关属性预测他们是不是好瓜?1≔色泽∈乌黑,青绿,浅白??

4、?1,?2,?3,?4,?5,?6?2≔根蒂∈蜷缩,稍蜷,硬挺?(?,?1,?2,?3,?4,?5,?6)?3≔敲声∈沉闷,浊响,清脆无条件独立假设?4≔纹理∈清晰,稍糊,模糊•?×?×?×?×?×?×?=????5≔脐部∈凹陷,稍凹,平坦?6≔触感∈硬滑,软粘?≔好瓜∈是,否西瓜分类问题•基于西瓜的相关属性预测他们是不是好瓜?1≔色泽∈乌黑,青绿,浅白???1,?2,?3,?4,?5,?6?2≔根蒂∈蜷缩,稍蜷,硬挺?(?,?1,?2,?3,?4,?5,?6)?3≔敲声∈沉闷,浊响,清脆无条件独立假设?4≔纹理∈清晰,稍糊,模糊•?×?×?×?×?×?

5、×?=????5≔脐部∈凹陷,稍凹,平坦朴素贝叶斯?6≔触感∈硬滑,软粘6•???1,⋯,?6∝??∏?=1?????≔好瓜∈是,否•?+?+?+?+?+?+?=??西瓜分类问题•基于西瓜的相关属性预测他们是不是好瓜?1≔色泽∈乌黑,青绿,浅白???1,?2,?3,?4,?5,?6?2≔根蒂∈蜷缩,稍蜷,硬挺?(?,?1,?2,?3,?4,?5,?6)?3≔敲声∈沉闷,浊响,清脆?4≔纹理∈清晰,稍糊,模糊?5≔脐部∈凹陷,稍凹,平坦?6≔触感∈硬滑,软粘???≔好瓜∈是,否????概率图模型•概率图模型(probabilisticgraphicalmo

6、del)是用图结构来表达随机变量依赖关系的概率模型–节点：一个或一组随机变量–边：随机变量之间的概率依赖关系??=1??=0???=红??=黑??????121211212001两类图模型•有向图模型，也称贝叶斯网络(Bayesiannetwork)–以有向边表示变量间的“因果”关系(causality)•无向图模型，也称马尔可夫随机场(MarkovRandomField)–以无向边表示变量间的简单相关(correlation)有向图模型无向图模型目录•11.1概述•11.2有向图模型：贝叶斯网络•11.3无向图模型：马尔可夫随机场•11.4学习与推断•

7、11.5隐马尔可夫模型•11.6条件随机场•11.7话题模型贝叶斯网络•图结构：有向无环图(DAG)–节点：一个或一组随机变量–边：随机变量之间的单向、直接影响（疾病症状）YESNO贝叶斯网络•图结构：有向无环图(DAG)–节点：一个或一组随机变量–边：随机变量之间的单向、直接影响（疾病症状）•当前节点：?3•父节点：?1•子节点：?5•后代节点：?5,?6•马尔可夫毯：?1,?2,?5贝叶斯网络•联合概率分布分解形式???=�???????=1–?≔?1,?2,⋯,??；???为??所有父节点所构成的集合??1,?2,?3,?4,?5,?6=??1

8、??2?1??3?1??4?2??5?2,?3??6?2,?5示例：草坪问题??