贝叶斯定理与复合概率
摘要
在本节课中，我们讨论了概率的两个基本概念：条件概率和复合概率。强调了P(A|B)与P(B|A)之间的区别。复合概率定理指出，事件A的概率可以表示为条件概率P(A|B_i)乘以事件B_i的概率的总和。随后，我们介绍了贝叶斯定理，它允许使用条件概率P(A|B_k)、概率P(B_k)和条件概率P(A|B_i)乘以事件B_i的概率的总和来计算条件概率P(B_k|A)。这些概念对于理解和应用各种上下文中的条件概率是至关重要的，而贝叶斯定理提供了一种强大的工具，可以根据新信息更新概率。
学习目标：
在本节课结束时，学生将能够：
- 理解条件概率的概念，并区分P(A|B)与P(B|A)。
- 计算使用复合概率的事件概率。
- 演示贝叶斯规则。
在上一节课中，我们回顾了条件概率的概念，并澄清了不应将形式为P(A|B)的条件概率与P(B|A)混淆。尽管在日常语言中条件性可能令人困惑，但在数学上它们是完全不同的两个概念，但却是相关的。这种关系由贝叶斯定理描述，贝叶斯定理基于复合概率的概念进行公式化。
复合概率与条件概率
定理： 如果A是一个事件，且B_1, B_2, \cdots, B_n构成一组互斥事件，那么\displaystyle \bigcup_{i=1}^n B_i = \Omega,则有：
\boxed{P(A) = \displaystyle \sum_{i=1}^n P(A|B_i) P(B_i)}
这种表示事件A的概率的方式 我们称之为A的复合概率。
证明：
| (1) | A是一个事件 | ; 前提 |
| (2) | \displaystyle \bigcup_{i=1}^n B_i = \Omega | ; 前提 |
| (3) | B_1, \cdots, B_n是互斥事件 | ; 前提 |
| (4) | (A\cap B_i)\cap(A\cap B_j) = \varnothing,其中i\neq j且i,j\in \{1,2,3,\cdots n\} | ; 由(1,2,3) |
| (5) | \displaystyle \bigcup_{i=1}^n \left(A \cap B_i \right) = A | ; 由(1,2,3) |
| (6) | \displaystyle P(A) = P\left( \bigcup_{i=1}^n \left(A \cap B_i \right) \right) = \sum_{i=1}^n P\left( A \cap B_i \right) | ; 由(4,5) |
| (7) | P(A|B_i) = \dfrac{P(A\cap B_i)}{P(B_i)} | ; 条件概率的定义 |
| P(A\cap B_i) = P(A|B_i) P(B_i) | ||
| (8) | \boxed{\displaystyle P(A) = \sum_{i=1}^n P(A|B_i) P(B_i)} | ; 由(6,7) |
贝叶斯定理
在与前述定理相同的上下文中，我们有如下定理：
定理：
P(B_k|A) = \dfrac{P(A|B_k)P(B_k)}{\displaystyle\sum_{i=1}^n P(A|B_i)P(B_i)} = \dfrac{P(A|B_k)P(B_k)}{P(A)}
证明： 如果A是一个任意事件且B_1, B_2, \cdots, B_n是一组互斥事件，那么\displaystyle \bigcup_{i=1}^n B_i = \Omega,由前述复合概率定理，我们有：
P(A) = \displaystyle \sum_{i=1}^n P(A|B_i)P(B_i)
现在，利用P(X\cap Y) = P(X|Y)P(Y),如果我们将Y=A和X=B_k代入，我们将得到
P(A) = \dfrac{P(B_k \cap A)}{P(B_k|A)}
另一方面，我们有
P(A|B_k) = \dfrac{P(A\cap B_k)}{P(B_k)}
由此可得
P(B_k \cap A) = P(A|B_k)P(B_k)
现在，如果我们将绿色部分代入蓝色部分，我们将得到
P(A) = \dfrac{P(A|B_k)P(B_k)}{P(B_k|A)}
这相当于说
\boxed{P(B_k|A) = \dfrac{P(A|B_k)P(B_k)}{P(A)}= \dfrac{P(A|B_k)P(B_k)}{\displaystyle \sum_{i=1}^n P(A|B_i) P(B_i)} }
这就是我们要证明的。