貝氏網路

令 G = (I,E) 表示一個有向無環圖（DAG），其中 I 代表圖中所有的節點的集合，而 E 代表有向連接線段的集合，且令 X = (X_i)_i∈I 為其有向無環圖中的某一節點 i 所代表之隨機變數，若節點 X 的聯合機率分配可以表示成：

${\displaystyle p(x)=\prod _{i\in I}p{\big (}x_{i}\,{\big |}\,x_{\operatorname {pa} (i)}{\big )}}$

則稱 X 為相對於一有向無環圖 G 的貝氏網路，其中${\displaystyle pa(i)}$表示節點 i 之「因」。

對任意的隨機變數，其聯合分配可由各自的局部條件機率分配相乘而得出：

${\displaystyle \mathrm {P} (X_{1}=x_{1},\ldots ,X_{n}=x_{n})=\prod _{i=1}^{n}\mathrm {P} (X_{i}=x_{i}\mid X_{i+1}=x_{i+1},\ldots ,X_{n}=x_{n})}$

依照上式，我們可以將一貝氏網路的聯合機率分配寫成：

${\displaystyle \mathrm {P} (X_{1}=x_{1},\ldots ,X_{n}=x_{n})=\prod _{i=1}^{n}\mathrm {P} (X_{i}=x_{i}\mid X_{j}=x_{j})}$（對每個相對於X_i的「因」變數 X_j 而言)

上面兩個表示式之差別在於條件機率的部分，在貝氏網路中，若已知其「因」變數下，某些節點會與其「因」變數條件獨立，只有與「因」變數有關的節點才會有條件機率的存在。

如果聯合分配的相依數目很稀少時，使用貝氏函數的方法可以節省相當大的記憶體容量。舉例而言，若想將10個變數其值皆為0或1儲存成一條件機率表型式，一個直觀的想法可知我們總共必須要計算${\displaystyle 2^{10}=1024}$個值；但若這10個變數中無任何變數之相關「因」變數是超過三個以上的話，則貝氏網路的條件機率表最多只需計算${\displaystyle 10*2^{3}=80}$個值即可。另一個貝式網路優點在於：對人類而言，它更能輕易地得知各變數間是否條件獨立或相依與其局部分配（local distribution）的型態來求得所有隨機變數之聯合分配。

定義一個節點之馬可夫毯為此節點的因節點、果節點與果節點的因節點所成之集合。一旦給定其馬可夫毯的值後，若網路內之任一節點X皆會與其他的節點條件獨立的話，就稱X為相對於一有向無環圖G的貝氏網路。

假設有兩個伺服器${\displaystyle (S_{1},S_{2})}$，會傳送封包到使用者端（以U表示之），但是第二個伺服器的封包傳送成功率會與第一個伺服器傳送成功與否有關，因此此貝氏網路的結構圖可以表示成如圖二的型式。就每個封包傳送而言，只有兩種可能值：T（成功）或 F（失敗）。則此貝氏網路之聯合機率分配可以表示成：

${\displaystyle P(U,S_{1},S_{2})=P(U|S_{1},S_{2})\times P(S_{2}|S_{1})\times P(S_{1})}$

圖二：簡單的貝氏網路例子

此模型亦可回答如：「假設已知使用者端成功接受到封包，求第一伺服器成功發送封包的機率?」諸如此類的問題，而此類型問題皆可用條件機率的方法來算出其所求之發生機率：

${\displaystyle \mathrm {P} ({\mathit {S_{1}}}=T\mid {\mathit {U}}=T)={\frac {\mathrm {P} ({\mathit {S_{1}}}=T,{\mathit {U}}=T)}{\mathrm {P} ({\mathit {U}}=T)}}}$

${\displaystyle ={\frac {\sum _{{\mathit {S_{2}}}\in \{T,F\}}\mathrm {P} ({\mathit {S_{1}}}=T,{\mathit {S_{2}}},{\mathit {U}}=T)}{\sum _{{\mathit {S_{1}}},{\mathit {S_{2}}}\in \{T,F\}}\mathrm {P} ({\mathit {U}}=T,{\mathit {S_{1}}},{\mathit {S_{2}}})}}}$

${\displaystyle ={\frac {(0.4\times 0.3\times 1)_{U=T,S_{1}=T,S_{2}=F}+(0.4\times 0.7\times 1)_{U=T,S_{1}=T,S_{2}=T}}{(0.4\times 0.3\times 1)_{TTF}+(0.4\times 0.7\times 1)_{TTT}+(0.6\times 0.3\times 1)_{FTT}+0_{TFF}}}}$

${\displaystyle \approx 68.96\%}$。

以上例子是一個很簡單的貝氏網路模型，但是如果當模型很複雜時，這時使用列舉式的方法來求解機率就會變得非常複雜且難以計算，因此必須使用其他的替代方法。一般來說，貝氏機率有以下幾種求法：

讓我們考慮一個應用在醫藥上的機率推論例子，在此病人會被診斷出是否有呼吸困難的症狀。表一代表一個我們所觀測到的資料集合，包含10筆觀測值，S代表的是吸菸與否（Smoker），C代表是否為罹癌者（Cancer），B代表是否罹患支氣管炎（bronchitis），D代表是否有呼吸困難及咳嗽（dyspnea and asthma）的症狀。『1』和『0』分別代表『是』和『否』。此醫藥網路結構顯示於圖三。

表一

表二代表的是整個網路的經驗聯合機率分配，是由所收集到的資料所建構而成，利用此表可建構出節點的聯合機率分配。見圖四。此貝氏公式${\displaystyle P(A|B)={\frac {P(A,B)}{P(B)}}}$可利用節點的邊際機率和聯合機率去計算節點的條件機率，待會會應用在建立條件機率表格（Conditional probability Table; CPT）上。見圖五。貝氏網路的聯合機率可由下列式子計算：

${\displaystyle P(S,C,B,D)=P(S)\times P(C|S)\times P(B|S,C)\times P(D|B,C)}$

其值見表三。

使用整個網路經驗聯合機率分配所計算出來的值會與使用CPT所計算出來的值不同，其差異可由表二和表三得知。其中差異不只是值的不同，也出現了新事件的機率（原本所沒觀察到的事件）。

表二

圖四

圖五

表三

建立在觀測資料上的機率推論演算法：

1.資料集合${\displaystyle D=\left\{d_{1},\ldots ,d_{n}\right\}}$，其中${\displaystyle d_{i}={x_{i}^{(1)},\ldots ,x_{i}^{(N)}}}$（下標代表第幾個觀測值，上標代表第幾個變數），且一共有n個觀測值。每一個觀測值包含${\displaystyle N(N\geq 2)}$個變數${\displaystyle {X_{i}^{(1)},\ldots ,X_{i}^{(N)}}}$，第j個變數有${\displaystyle A^{(j)}={0,1,\ldots ,\alpha ^{(j)}-1}(\alpha ^{(j)}\geq 2)}$狀態。

2.此貝氏網路的結構G代表N個前代（predecessors）節點集合${\displaystyle \left\{\Pi ^{(1)},\ldots ,\Pi ^{(N)}\right\}}$，也就是對第j個節點，${\displaystyle \Pi ^{(j)}}$為其親代節點的集合, j=1,2,…,N

3.範例點（instantiated node）${\displaystyle \left\{X^{P_{1}}=x^{P_{1}},\ldots ,X^{P_{v}}=x^{P_{v}}\right\}}$為節點在已知狀態，即在此狀態的機率為1。如果範例點為空集合，將使用古典機率推論

使用表一的觀測值和圖一的貝氏網路結構，並且已知範例點（instantiated node）為${\displaystyle \left\{S=0,C=0\right\}}$，也就是病人為非吸菸者和罹癌者：${\displaystyle P\left(S=0\right)=1,P\left(C=0\right)=1}$

問題：
1.病人患有支氣管炎的機率${\displaystyle P\left(B\right)=?}$
2.病人會有呼吸困難的機率${\displaystyle P\left(D\right)=?}$

解答：
1. ${\displaystyle P\left(B=0|S=0,C=0\right)=0.8}$

${\displaystyle P\left(B=1|S=0,C=0\right)=0.2}$
故為0.2

2. ${\displaystyle P\left(D=0|S=0,C=0\right)}$

${\displaystyle =P\left(D=0,B=0|S=0,C=0\right)+P\left(D=0,B=1|S=0,C=0\right)}$

${\displaystyle =P\left(D=0|B=0,S=0,C=0\right)\times P\left(B=0|S=0,C=0\right)}$

${\displaystyle +P\left(D=0|B=1,S=0,C=0\right)\times P\left(B=1|S=0,C=0\right)}$

${\displaystyle P\left(D=1|S=0,C=0\right)}$

${\displaystyle =P\left(D=1,B=1|S=0,C=0\right)+P\left(D=1,B=0|S=0,C=0\right)}$

${\displaystyle =P\left(D=1|B=0,S=0,C=0\right)\times P\left(B=0|S=0,C=0\right)}$

${\displaystyle +P\left(D=1|B=1,S=0,C=0\right)\times P\left(B=1|S=0,C=0\right)}$

貝氏網路目前應用在類比計算生物學與生物資訊學基因調控網路、蛋白質結構、基因表達分析、醫學、文档分类、資訊檢索、決策支援系統、工程學、資料結合、圖像處理等。

• A tutorial on learning with Bayesian Networks
• An Introduction to Bayesian Networks and their Contemporary Applications （页面存档备份，存于）
• On-line Tutorial on Bayesian nets and probability （页面存档备份，存于）
• Web-App to create Bayesian nets and run it with a Monte Carlo method
• Continuous Time Bayesian Networks （页面存档备份，存于）
• Bayesian Networks: Explanation and Analogy
• A live tutorial on learning Bayesian networks （页面存档备份，存于）
• A hierarchical Bayes Model for handling sample heterogeneity in classification problems （页面存档备份，存于）, provides a classification model taking into consideration the uncertainty associated with measuring replicate samples.
• Hierarchical Naive Bayes Model for handling sample uncertainty （页面存档备份，存于）, shows how to perform classification and learning with continuous and discrete variables with replicated measurements.