条件独立

在概率论和統計學中，两事件R 和B 在给定的另一事件Y 发生时条件独立，類似於統計獨立性，就是指当事件Y 发生时，R 发生与否和B 发生与否就条件概率分布而言是独立的。换句话讲，R 和B 在给定Y 发生时条件独立，当且仅当已知Y 发生时，知道R 发生与否无助于知道B 发生与否，同样知道B 发生与否也无助于知道R 发生与否。

定義

两个说明条件独立的例子。每个小方格都表示一种等概率的可能结果。事件R、B、Y分别用红色、蓝色、黄色阴影部分表示。事件R和B的重叠部分用紫色表示。这些事件发生的概率等于相应阴影部分面积和图形总面积的比值。在这两个例子中，事件R和B在给定Y时都是条件独立的，这是因为

\Pr(R\cap B\mid Y)=\Pr(R\mid Y)\Pr(B\mid Y)\,

[註 1]
但给定Y不发生时，它们不是条件独立的，这是因为 :

\Pr(R\cap B\mid {\bar {Y}})\not =\Pr(R\mid {\bar {Y}})\Pr(B\mid {\bar {Y}}).\,

R和B在给定Y发生时条件独立，用概率论的标准记号表示为

\Pr(R\cap B\mid Y)=\Pr(R\mid Y)\Pr(B\mid Y)\,

也可以等价地表示为

\Pr(R\mid B\cap Y)=\Pr(R\mid Y).\,

因为当事件Y发生时，R发生与否和B发生与否就条件概率分布而言是独立的。

两个随机变量X和Y在给定第三个随机变量Z的情况下条件独立当且仅当它们在给定Z时的条件概率分布互相独立，也就是说，给定Z的任一值，X的概率分布和Y的值无关，Y的概率分布也和X的值无关。

法则

從基本定義可導出一套描述條件獨立的重要法则。[1][2]

因這些推论在任何機率空間中都成立，因此也对所有变量关于另一变量的条件概率分布成立，只需考慮相应子空间即可。譬如說 $X\perp \!\!\!\perp Y\Rightarrow Y\perp \!\!\!\perp X$ 也就意味着 $X\perp \!\!\!\perp Y\mid K\Rightarrow Y\perp \!\!\!\perp X\mid K$ 。

注：位於算式下方的逗號意为“和”。

對稱性

X\perp \!\!\!\perp Y\quad \Rightarrow \quad Y\perp \!\!\!\perp X

分解

X\perp \!\!\!\perp A,B\quad \Rightarrow \quad {\text{ and }}{\begin{cases}X\perp \!\!\!\perp A\\X\perp \!\!\!\perp B\end{cases}}

證明：

$p_{X,A,B}(x,a,b)=p_{X}(x)p_{A,B}(a,b)$ ( $X\perp \!\!\!\perp A,B$ 的定义)
$\int _{B}\!p_{X,A,B}(x,a,b)=\int _{B}\!p_{X}(x)p_{A,B}(a,b)$ (对B积分以消去B)
$p_{X,A}(x,a)=p_{X}(x)p_{A}(a)$

同理可证X和B條件獨立。

微弱的聯合

X\perp \!\!\!\perp A,B\quad \Rightarrow \quad {\text{ and }}{\begin{cases}X\perp \!\!\!\perp A\mid B\\X\perp \!\!\!\perp B\mid A\end{cases}}

證明：

藉由定義 $\Pr(X)=\Pr(X\mid A,B)$
由於分解的屬性 $X\perp \!\!\!\perp B$ , $\Pr(X)=\Pr(X\mid B)$
結合兩個等式得 $\Pr(X\mid B)=\Pr(X\mid A,B)$ ，其中確認 $X\perp \!\!\!\perp A\mid B$ 第二個條件可以類似地被證明。

註釋

这个等式证明如下：Pr(R ∩ B | Y)是R和B在Y中的重合部分（用紫色表示）面积占Y面积的比值。左图中，有两个R和B重合的方格位于Y内，而Y有12个方格，所以Pr(R ∩ B | Y) = 2/12 = 1/6。同理，Pr(R | Y) = 4/12 = 1/3，Pr(B | Y) = 6/12 = 1/2。

參考資料

Dawid, A. P. . Journal of the Royal Statistical Society, Series B. 1979, 41 (1): 1–31. JSTOR 2984718. MR 0535541.
J Pearl, Causality: Models, Reasoning, and Inference, 2000, Cambridge University Press

參見

条件期望

This article is issued from Wikipedia. The text is licensed under Creative Commons - Attribution - Sharealike. Additional terms may apply for the media files.

[1] 这个等式证明如下：Pr(R ∩ B | Y)是R和B在Y中的重合部分（用紫色表示）面积占Y面积的比值。左图中，有两个R和B重合的方格位于Y内，而Y有12个方格，所以Pr(R ∩ B | Y) = 2/12 = 1/6。同理，Pr(R | Y) = 4/12 = 1/3，Pr(B | Y) = 6/12 = 1/2。

[2] Dawid, A. P. . Journal of the Royal Statistical Society, Series B. 1979, 41 (1): 1–31. JSTOR 2984718. MR 0535541.

[pearl:2000-3] J Pearl, Causality: Models, Reasoning, and Inference, 2000, Cambridge University Press