朴素贝叶斯分类器

讨论至此为止我们导出了独立分布特征模型，也就是單純貝氏概率模型。單純貝氏分类器包括了这种模型和相应的决策规则。一个普通的规则就是选出最有可能的那个：这就是大家熟知的最大后验概率（MAP）决策准则。相应的分类器便是如下定义的${\displaystyle \mathrm {classify} }$公式：

${\displaystyle \mathrm {classify} (f_{1},\dots ,f_{n})={\underset {c}{\operatorname {argmax} }}\ p(C=c)\displaystyle \prod _{i=1}^{n}p(F_{i}=f_{i}\vert C=c).}$

如果要处理的是连续数据一种通常的假设是这些连续数值为高斯分布。 例如，假设训练集中有一个连续属性，${\displaystyle x}$。我们首先对数据根据类别分类，然后计算每个类别中${\displaystyle x}$的均值和方差。令${\displaystyle \mu _{c}}$ 表示为${\displaystyle x}$在c类上的均值，令${\displaystyle \sigma _{c}^{2}}$为 ${\displaystyle x}$在c类上的方差。在给定类中某个值的概率，${\displaystyle P(x=v|c)}$，可以通过将${\displaystyle v}$表示为均值为${\displaystyle \mu _{c}}$方差为${\displaystyle \sigma _{c}^{2}}$正态分布计算出来。如下， ${\displaystyle P(x=v|c)={\tfrac {1}{\sqrt {2\pi \sigma _{c}^{2}}}}\,e^{-{\frac {(v-\mu _{c})^{2}}{2\sigma _{c}^{2}}}}}$ 处理连续数值问题的另一种常用的技术是通过离散化连续数值的方法。通常，当训练样本数量较少或者是精确的分布已知时，通过概率分布的方法是一种更好的选择。在大量样本的情形下离散化的方法表现更优，因为大量的样本可以学习到数据的分布。由于單純貝氏是一种典型的用到大量样本的方法（越大计算量的模型可以产生越高的分类精确度），所以單純貝氏方法都用到离散化方法，而不是概率分布估计的方法。

问题描述:通过一些测量的特征，包括身高、体重、脚的尺寸，判定一个人是男性还是女性。

训练数据如下：

假设训练集样本的特征满足高斯分布，得到下表：

我们认为两种类别是等概率的，也就是P(male)= P(female) = 0.5。在没有做辨识的情况下就做这样的假设并不是一个好的点子。但我们通过数据集中两类样本出现的频率来确定P(C)，我们得到的结果也是一样的。

以下给出一个待分类是男性还是女性的样本。

我们希望得到的是男性还是女性哪类的后验概率大。男性的后验概率通过下面式子来求取

${\displaystyle posterior(male)={\frac {P(male)\,p(height|male)\,p(weight|male)\,p(footsize|male)}{evidence}}}$

女性的后验概率通过下面式子来求取

${\displaystyle posterior(female)={\frac {P(female)\,p(height|female)\,p(weight|female)\,p(footsize|female)}{evidence}}}$

证据因子（通常是常数）用来对各类的后验概率之和进行归一化.

${\displaystyle evidence=P(male)\,p(height|male)\,p(weight|male)\,p(footsize|male)+P(female)\,p(height|female)\,p(weight|female)\,p(footsize|female)}$

证据因子是一个常数（在正态分布中通常是正数），所以可以忽略。接下来我们来判定这样样本的性别。

${\displaystyle P(male)=0.5}$

${\displaystyle p({\mbox{height}}|{\mbox{male}})={\frac {1}{\sqrt {2\pi \sigma ^{2}}}}\exp \left({\frac {-(6-\mu )^{2}}{2\sigma ^{2}}}\right)\approx 1.5789}$,其中${\displaystyle \mu =5.855}$，${\displaystyle \sigma ^{2}=3.5033e^{-02}}$是训练集样本的正态分布参数. 注意，这里的值大于1也是允许的 – 这里是概率密度而不是概率，因为身高是一个连续的变量.

${\displaystyle p(weight|male)=5.9881e^{-06}}$

${\displaystyle p(footsize|male)=1.3112e^{-3}}$

${\displaystyle posteriornumerator(male)=6.1984e^{-09}}$

${\displaystyle P(female)=0.5}$

${\displaystyle p(height|female)=2.2346e^{-1}}$

${\displaystyle p(weight|female)=1.6789e^{-2}}$

${\displaystyle p(footsize|female)=2.8669e^{-1}}$

${\displaystyle posteriornumerator(female)=5.3778e^{-04}}$

由于女性后验概率的分子比较大，所以我们预计这个样本是女性。

这是一个用單純貝氏分类做的一个文本分类问题的例子。考虑一个基于内容的文本分类问题，例如判断邮件是否为垃圾邮件。想像文本可以分成若干的类别，首先文本可以被一些单词集标注，而这个单词集是独立分布的，在给定的C类文本中第i个单词出现的概率可以表示为：

${\displaystyle p(w_{i}\vert C)\,}$

（通过这种处理，我们进一步简化了工作，假设每个单词是在文中是随机分布的-也就是单词不依赖于文本的长度，与其他词出现在文中的位置，或者其他文本内容。）

所以，对于一个给定类别C，文本D包含所有单词${\displaystyle w_{i}}$的概率是:

${\displaystyle p(D\vert C)=\prod _{i}p(w_{i}\vert C)\,}$

我们要回答的问题是「文档D属于类C的概率是多少？」换而言之${\displaystyle p(C\vert D)\,}$是多少？ 现在定义

${\displaystyle p(D\vert C)={p(D\cap C) \over p(C)}}$

${\displaystyle p(C\vert D)={p(D\cap C) \over p(D)}}$

通过贝叶斯定理将上述概率处理成似然度的形式

${\displaystyle p(C\vert D)={p(C) \over p(D)}\,p(D\vert C)}$

假设现在只有两个相互独立的类别，S和¬S（垃圾邮件和非垃圾邮件），这里每个元素（邮件）要么是垃圾邮件，要么就不是。

${\displaystyle p(D\vert S)=\prod _{i}p(w_{i}\vert S)\,}$

${\displaystyle p(D\vert \neg S)=\prod _{i}p(w_{i}\vert \neg S)\,}$

用上述贝叶斯的结果，可以写成

${\displaystyle p(S\vert D)={p(S) \over p(D)}\,\prod _{i}p(w_{i}\vert S)}$

${\displaystyle p(\neg S\vert D)={p(\neg S) \over p(D)}\,\prod _{i}p(w_{i}\vert \neg S)}$

两者相除:

${\displaystyle {p(S\vert D) \over p(\neg S\vert D)}={p(S)\,\prod _{i}p(w_{i}\vert S) \over p(\neg S)\,\prod _{i}p(w_{i}\vert \neg S)}}$

整理得:

${\displaystyle {p(S\vert D) \over p(\neg S\vert D)}={p(S) \over p(\neg S)}\,\prod _{i}{p(w_{i}\vert S) \over p(w_{i}\vert \neg S)}}$

这样概率比p(S | D) / p(¬S | D)可以表达为似然比。实际的概率p(S | D)可以很容易通过log (p(S | D) / p(¬S | D))计算出来，基于p(S | D) + p(¬S | D) = 1。

结合上面所讨论的概率比，可以得到：

${\displaystyle \ln {p(S\vert D) \over p(\neg S\vert D)}=\ln {p(S) \over p(\neg S)}+\sum _{i}\ln {p(w_{i}\vert S) \over p(w_{i}\vert \neg S)}}$

(这种对数似然比的技术在统计中是一种常用的技术。在这种两个独立的分类情况下（如这个垃圾邮件的例子），把对数似然比转化为S曲线的形式)。

最后文本可以分类，当${\displaystyle p(S\vert D)>p(\neg S\vert D)}$或者${\displaystyle \ln {p(S\vert D) \over p(\neg S\vert D)}>0}$时判定为垃圾邮件，否则为正常邮件。