朴素贝叶斯 - 一个对所有可能性求概率的模型

朴素贝叶斯的直观理解

在网上曾经有一个有意思的概率讨论，题目是这样的（我相信所有人都会愿意看一看这种有趣的问题）：

有三张彩票，一张有奖。你买了一张，老板在自己剩余的两张中刮开了一张，没中。这时候他要用剩下的一张和你换，你换不换？换和不换你中奖的概率一样吗？（你可以思考一下，然后看我下面的回答）

—————————————————————————-

从直觉上来讲，彩票中奖的概率是1/3，你最先抽了一张，不管咋操作，中奖的概率应该都是1/3。这时候老板排除掉了一张没中奖的，剩下两张必有一张中奖，所以概率是1/2。换和不换应该都一样。你是这么答的吗？

这时候需要引申出贝叶斯了，贝叶斯在概率的计算中引入了先验概率，即在知道了一些事情的情况下，概率会发生变化，按照贝叶斯的解答应该是怎样的呢？

首先我们要引入概率的一些写法（事实上如果你不太明白这些公式的话，建议适当补一些概率的课程，在机器学习中非常有用）

补充知识：P（A|B）表示在B发生的情况下A发生的概率。P(A|B) = [P(B|A)*P(A)] / P(B)。

—————————————————————————-

我们假设A表示你手里目前这张是中奖的，B表示老板刮出来的那张是没中奖的（虽然题目中说明了老板刮出来的没中，但还是需要将情况假设出来）

那么由上面可得：

P(A|B) = [P(B|A)*P(A)] / P(B)

在式中P(B|A)表示在A发生的情况下B发生的概率，代入题目中也就是如果你手里这张是中奖的，那老板刮出来那张没中奖的概率。很显然这是必然的，因为只有一张是中奖的，所以P(B|A)=1，也就是必然的事件。P(A)表示你手里目前这张是中奖的概率，在计算P(A)时因为没有给出前提条件，所以P(A)=1/3，也就是三张彩票，你手里中奖的概率是1/3。P(B)表示老板刮出来那张是没中奖的概率，题目中已经给出前提条件老板刮出来的是没中奖的，所以概率P(A)=1.

那么将数代进式子里面：P(A|B) = [P(B|A)P(A)] / P(B) = [1 1/3] / 1 = 1/3，也就是说在老板刮出来一张没中奖的彩票前提下，你手里这张中奖的概率是1/3，老板手里剩余那张是2/3。为了中奖概率最大化，应该和老板手里的彩票交换。

是不是感觉不对劲，三张彩票我自己抽了一张，我中不中奖怎么还和老板刮不刮自己的彩票有关系了呢？P(A|B)这个算法是错的吧？当时论坛也争论了很久，但十年前的人们还不太会使用贝叶斯来武装自己，有一部分用直觉，也就是脑袋算法，坚持就是1/2。另一部分去绕来绕去分析，企图找到直觉没考虑到的地方来证明是1/3和2/3。后来有位程序员写了算法来模拟，结果确实是1/3和2/3。有兴趣的同学可以通过这个链接自行跑一下程序。https://www.zybuluo.com/zzy0471/note/111692

朴素贝叶斯分类器就是一个对所有可能性求概率的模型，最后输出结果中哪种可能性高就输出哪种。核心公式是P(Y | X)