从贝叶斯推理到逻辑贝叶斯推理——一个新的数学框架用于语

《从贝叶斯推理到逻辑贝叶斯推理——一个新的数学框架用于语》由会员上传分享，免费在线阅读，更多相关内容在工程资料-天天文库。

1、投稿ICIS2018，Workshop：StatisticalLeaningforIntelligentInformationProcessing欢迎各位一阅并提供宝贵批评建议。--作者从贝叶斯推理到逻辑贝叶斯推理——一个新的数学框架用于语义通信和机器学习鲁晨光辽宁工程技术大学智能工程和数学学院阜新123000)lcguang@foxmail.com摘要贝叶斯推理（BI）使用贝叶斯后验而逻辑贝叶斯推理（LBI）使用真值函数或隶属函数作为推理工具。提出LBI主要是因为贝叶斯推理不兼容传统的贝叶斯预测，也没使用能反映语义的逻辑概率。

2、在新的数学框架中，统计概率和逻辑概率被严格区分并被同时使用；通过新发现的第三种贝叶斯定理，两种概率可以相互转换；我们可以从Shannon信道直接导出一组真值函数或语义信道。语义通信模型用作机器学习模型分两部分:接收者的标签学习（也就是语义信道匹配Shannon信道）；发送者的标签选择或分类（也就是Shannon信道匹配语义信道）。最大语义信息(MSI)准则等价于最大似然(ML)准则，也兼容正则化最小误差平方(RLS)准则。两种信道相互匹配就能方便地实现多标签分类——同时考虑到类别不平衡和实例先验概率分布变化,而不需要考虑二元关联

3、。使用信道匹配(CM)迭代算法，就能得到不可见实例分类和最大似然估计(属于半监督学习)。求解混合模型(属于无监督学习)则需要另一种匹配——最小化Shannon互信息和语义互信息之差。两种迭代的收敛都可以通过R(G)函数证明——R(G)函数是信息率失真函数R(D)的改进，G是语义互信息，可被理解为负的正则化的失真。文中提供了一些应用例子，包括有监督学习、半监督学习和无监督学习的例子。理论分析和算法实践显示：逻辑贝叶斯推理比贝叶斯推理在机器学习的大多数方面有更好表现。结尾也讨论了该框架的局限性。关键词贝叶斯定理，贝叶斯推理，逻辑概率

4、，Shannon信道，语义信道，机器学习，多标签分类，最大似然估计，混合模型。附图摘要——1引言贝叶斯推理即贝叶斯主义推理(BayesianInference,后面缩写为BI)【1,2】，有人把它翻译为“贝叶斯推断”,或许更准确。为了中文顺口，也为了和大多数翻译一致，我们还是用“贝叶斯推理”或BI。BI并不是贝叶斯提出的，而是贝叶斯学派提出的。贝叶斯本人只提出联合概率和条件概率之间的关系【3】，我们常见的贝叶斯公式是拉普拉斯整理的【4】，至于贝叶斯学派也是后来在和频率主义争论中形成的【5,6】。贝叶斯学派和频率学派的主要差别是对

5、概率的认识。频率学派认为概率——包括统计概率和预测的概率(似然度)是事件发生的频率或频率的极限.贝叶斯主义又分为主观贝叶斯主义和逻辑贝叶斯主义，主观贝叶斯主义者（比如使用BI者）认为概率取决于主观信任度，而逻辑贝叶斯主义者认为概率是逻辑真值或逻辑的推广【6】。大多数逻辑贝叶斯主义者(比如Keynes和Carnap)使用真值函数作为推理工具，但是没有用到样本检验。本文主要工作就是使用样本检验和语义信息方法发展逻辑贝叶斯主义的推理方法，并且反过来用于语义通信和统计学习。也不是前面有“贝叶斯”字样的方法就属于贝叶斯主义，因为“Baye

6、s’”也翻译成定语“贝叶斯”，比如“Bayes’theorem”翻译成“贝叶斯定理”。很多贝叶斯方法其实是经典方法或频率主义的方法，比如Fisher的似然方法【7】和Shannnon信息论【8】中用的贝叶斯方法。即使用了主观概率，比如贝叶斯信念网，方法也可能还是经典的贝叶斯方法。Fisher开创1的似然方法用参数θ构造的x(数据、实例、或证据点)的后验概率分布，即似然函数P(x

7、θ)，作为假设检验的工具。BI的核心思想是：假设存在参数的先验概率分布——又叫贝叶斯先验P(θ)；通过贝叶斯定理，从P(θ)和预测模型(即一组似然函数)

8、可以推导出贝叶斯后验P(θ

9、x)。在假设检验中用P(x

10、θ)还是用P(θ

11、x)就成了区别频率主义和贝叶斯主义的主要标志。然而，据考察，P(θ

12、x)最早也是Fisher提出的【1】。其实在Bayes的文章【3】中就有概率的两种解释：用打赌做例子时使用频率作为概率；但是讲到两个概率之和为1时，又使用了逻辑互补概念。可见，两派同源。本文提出逻辑贝叶斯推理(LogicalBayesianInference，缩写为LBI)。它强调逻辑概率，主要为了表达概念的外延或语义.LBI表面上看是更极端的贝叶斯主义方法，但是它更加兼容频率主义，甚至用

13、频率主义观点解释真值函数(或隶属函数)和逻辑概率。所以LBI是激进的贝叶斯主义和激进的频率主义的结合。也许这种结合正是Bayes和Fisher希望看到的。Shannon采用统计概率建立经典信息论，Fisher等人采用预测概率建立用于假设检验的似然方法。两者都是频