平方損失函數下，貝葉斯估計

 

問題背景

1. 隨機變量 $X$ 服從泊松分佈，概率質量函數為： $$P(X = x | \theta) = \frac{e^{-\theta} \theta^x}{x!}, \quad x = 0, 1, 2, \dots, \quad \theta > 0$$ 其中 $\theta$ 是泊松分佈的參數（即均值和方差）。
2. 先驗分佈：$\theta$ 的先驗分佈是伽馬分佈 $\text{Gamma}(\alpha, \lambda)$，其概率密度函數為： $$\pi(\theta) = \frac{\lambda^\alpha}{\Gamma(\alpha)} \theta^{\alpha - 1} e^{-\lambda \theta}, \quad \theta > 0$$ 其中 $\alpha$（形狀參數）和 $\lambda$（速率參數）是已知的。
3. 目標：
   • 求 $\theta$ 的後驗分佈 $\pi(\theta | \mathbf{x})$，其中 $\mathbf{x} = (x_1, x_2, \dots, x_n)$ 是獨立同分佈的樣本。
   • 在平方損失函數下，求 $\theta$ 的貝葉斯估計。

---

第一步：求後驗分佈

假設我們有 $n$ 個獨立同分佈的樣本 $\mathbf{x} = (x_1, x_2, \dots, x_n)$，每個 $x_i \sim \text{Poisson}(\theta)$。樣本的聯合似然函數為：

$$L(\theta | \mathbf{x}) = \prod_{i=1}^n P(x_i | \theta) = \prod_{i=1}^n \frac{e^{-\theta} \theta^{x_i}}{x_i!} = \frac{e^{-n\theta} \theta^{\sum_{i=1}^n x_i}}{\prod_{i=1}^n x_i!}$$

忽略與 $\theta$ 無關的常數項（因為它們在後驗分佈中會被歸一化），似然函數正比於：

$$L(\theta | \mathbf{x}) \propto e^{-n\theta} \theta^{\sum_{i=1}^n x_i}$$

先驗分佈為：

$$\pi(\theta) \propto \theta^{\alpha - 1} e^{-\lambda \theta}$$

根據貝葉斯定理，後驗分佈為：

$$\pi(\theta | \mathbf{x}) \propto L(\theta | \mathbf{x}) \cdot \pi(\theta) \propto (e^{-n\theta} \theta^{\sum_{i=1}^n x_i}) \cdot (\theta^{\alpha - 1} e^{-\lambda \theta})$$

合併同類項：

$$\pi(\theta | \mathbf{x}) \propto \theta^{\sum_{i=1}^n x_i + \alpha - 1} e^{-(n + \lambda)\theta}$$

這是伽馬分佈 $\text{Gamma}(\alpha', \lambda')$ 的核心形式，其中：

• 形狀參數：$\alpha' = \alpha + \sum_{i=1}^n x_i$
• 速率參數：$\lambda' = \lambda + n$

因此，後驗分佈為：

$$\theta | \mathbf{x} \sim \text{Gamma}\left( \alpha + \sum_{i=1}^n x_i, \lambda + n \right)$$

---

第二步：平方損失函數下的貝葉斯估計

在平方損失函數 $L(\theta, \hat{\theta}) = (\theta - \hat{\theta})^2$ 下，貝葉斯估計是後驗分佈的期望值，即：

$$\hat{\theta}_{\text{Bayes}} = E[\theta | \mathbf{x}]$$

對於伽馬分佈 $\text{Gamma}(\alpha', \lambda')$，期望值為：

$$E[\theta] = \frac{\alpha'}{\lambda'}$$

代入後驗分佈的參數：

$$\alpha' = \alpha + \sum_{i=1}^n x_i, \quad \lambda' = \lambda + n$$

因此，貝葉斯估計為：

$$\hat{\theta}_{\text{Bayes}} = \frac{\alpha + \sum_{i=1}^n x_i}{\lambda + n}$$

---

最終答案

1. 後驗分佈： $$\theta | \mathbf{x} \sim \text{Gamma}\left( \alpha + \sum_{i=1}^n x_i, \lambda + n \right)$$
2. 平方損失函數下的貝葉斯估計： $$\hat{\theta}_{\text{Bayes}} = \frac{\alpha + \sum_{i=1}^n x_i}{\lambda + n}$$

這就是 $\theta$ 的後驗分佈和貝葉斯估計。

貝氏 檢驗

 的！這題是關於用貝氏統計的方法來分析一個問題，涉及二項分佈和假設檢驗。我會用白話把這題的思路和計算過程講清楚，儘量讓人聽得懂，像是跟朋友聊天一樣。

---

問題背景

我們在研究一個機率問題，假設你丟一個硬幣好幾次，每次丟有一定機率 $\theta$ 會正面（成功），而這個 $\theta$ 我們不知道是多少。我們的實驗是丟 $n$ 次硬幣，記錄正面的次數 $X$。這裡 $X$ 服從二項分佈 $\text{Binomial}(n, \theta)$。我們對 $\theta$ 的猜測（先驗）是均勻分佈 $U(0,1)$，意思是說，$\theta$ 從 0 到 1 的任何值機率都一樣，像是一開始完全沒偏見。

我們要檢驗兩個假設：

• 原假設 $H_0$：$\theta \leq 1/2$，也就是硬幣正面的機率不大於 0.5（硬幣可能是公平的或偏向反面）。
• 對立假設 $H_1$：$\theta > 1/2$，也就是硬幣正面的機率大於 0.5（偏向正面）。

問題要求我們計算當 $n = 1, 2, 3, 4, 5$ 時（丟 1 到 5 次硬幣），在觀察到某個 $X = k$（正面次數）的情況下，$\theta > 1/2$ 的機率（後驗概率）是多少。然後判斷什麼時候可以「否定」原假設 $H_0$。這是用貝氏方法來做，重點是計算後驗概率 $P(\theta > 1/2 \mid X)$。

---

思路：用貝氏方法算機率

貝氏方法就像是把你已知的資訊（先驗）跟新觀察到的數據（實驗結果）結合起來，更新你對 $\theta$ 的看法。具體步驟是：

1. 先驗：我們一開始假設 $\theta$ 的機率是均勻分佈，意思是 $\theta$ 從 0 到 1 都一樣可能，像是一個平坦的機率分佈。
2. 似然：根據實驗結果（丟 $n$ 次硬幣，得到 $k$ 次正面），我們知道 $X$ 的機率是二項分佈的公式： $$P(X = k \mid \theta) = \binom{n}{k} \theta^k (1-\theta)^{n-k}$$ 這告訴我們在 $\theta$ 已知的情況下，得到 $k$ 次正面的可能性。
3. 後驗：把先驗和似然結合起來，算出在看到 $X = k$ 後，$\theta$ 的分佈（後驗分佈）。因為先驗是均勻的，後驗分佈會是一個 Beta 分佈 $\text{Beta}(k+1, n-k+1)$。這就像是我們把實驗結果「加進去」，更新了對 $\theta$ 的看法。
4. 計算機率：我們要算的是 $P(\theta > 1/2 \mid X = k)$，也就是在實驗結果下，$\theta > 1/2$ 的機率。這需要對後驗分佈從 $\theta = 1/2$ 到 1 做積分。
5. 否定原假設：在貝氏框架下，如果 $P(\theta > 1/2 \mid X)$ 很大（比如超過 0.95），我們就認為 $H_0$ 不太可能，傾向支持 $H_1$，也就是否定 $H_0$。

---

計算過程

因為問題沒說清楚 $X = k$ 是多少，我們就假設 $k$ 是可能的正面次數（從 0 到 $n$），然後逐一算出 $P(\theta > 1/2 \mid X = k)$。這需要用到 Beta 分佈的性質，具體是計算從 $\theta = 1/2$ 到 1 的機率。簡單來說，就是看實驗結果多支持 $\theta > 1/2$。

當 $n = 1$（丟 1 次硬幣）

• 可能結果：$k = 0$（反面）或 $k = 1$（正面）。
• $k = 0$：後驗是 $\text{Beta}(1, 2)$。算出來 $P(\theta > 1/2) = 0.25$。這表示如果沒丟到正面，$\theta > 1/2$ 的機率很低，只有 25%。
• $k = 1$：後驗是 $\text{Beta}(2, 1)$。算出來 $P(\theta > 1/2) = 0.75$。丟到正面，$\theta > 1/2$ 的機率變高，但還不夠高。

當 $n = 2$（丟 2 次硬幣）

• 可能結果：$k = 0, 1, 2$。
• $k = 0$：$P(\theta > 1/2) = 0.125$。兩次都反面，$\theta > 1/2$ 機率更低。
• $k = 1$：$P(\theta > 1/2) = 0.5$。一次正面一次反面，剛好一半一半，沒偏向哪邊。
• $k = 2$：$P(\theta > 1/2) = 0.875$。兩次都正面，$\theta > 1/2$ 機率很高，但還不到 0.95。

當 $n = 3$（丟 3 次硬幣）

• 可能結果：$k = 0, 1, 2, 3$。
• $k = 0$：$P(\theta > 1/2) = 0.0625$。完全沒正面，幾乎不可能 $\theta > 1/2$。
• $k = 1$：$P(\theta > 1/2) \approx 0.3125$。
• $k = 2$：$P(\theta > 1/2) \approx 0.6875$。
• $k = 3$：$P(\theta > 1/2) = 0.9375$。三次都正面，機率很高，但還是沒到 0.95。

當 $n = 4$（丟 4 次硬幣）

• 可能結果：$k = 0, 1, 2, 3, 4$。
• $k = 0$：$P(\theta > 1/2) = 0.03125$。
• $k = 1$：$P(\theta > 1/2) \approx 0.1875$。
• $k = 2$：$P(\theta > 1/2) \approx 0.5$。
• $k = 3$：$P(\theta > 1/2) \approx 0.8125$。
• $k = 4$：$P(\theta > 1/2) = 0.96875$。四次都正面，機率超過 0.95！

當 $n = 5$（丟 5 次硬幣）

• 可能結果：$k = 0, 1, 2, 3, 4, 5$。
• $k = 0$：$P(\theta > 1/2) = 0.015625$。
• $k = 1$：$P(\theta > 1/2) \approx 0.109375$。
• $k = 2$：$P(\theta > 1/2) \approx 0.34375$。
• $k = 3$：$P(\theta > 1/2) \approx 0.65625$。
• $k = 4$：$P(\theta > 1/2) \approx 0.890625$。
• $k = 5$：$P(\theta > 1/2) = 0.984375$。五次都正面，機率超高！

---

什麼時候否定原假設？

在貝氏方法裡，我們通常看 $P(\theta > 1/2 \mid X)$ 有沒有大到某個程度，比如 0.95（就像頻率學派用 95% 的信心水準）。如果這個機率 ≥ 0.95，就表示數據很支持 $\theta > 1/2$，可以否定 $H_0$。從結果看：

• $n = 4, k = 4$：$P = 0.96875 > 0.95$，可以否定 $H_0$。
• $n = 5, k = 5$：$P = 0.984375 > 0.95$，可以否定 $H_0$。
• 其他情況（比如 $n = 3, k = 3$ 是 0.9375，還是低於 0.95），都不夠強烈到否定 $H_0$。

如果問題假設你每次實驗都得到全正面（$k = n$），那麼：

• $n = 1$: $P = 0.75$，不夠。
• $n = 2$: $P = 0.875$，不夠。
• $n = 3$: $P = 0.9375$，不夠。
• $n = 4$: $P = 0.96875$，夠了！否定 $H_0$。
• $n = 5$: $P = 0.984375$，夠了！否定 $H_0$。

---

白話總結

這就像你在丟硬幣，想知道這硬幣是不是偏向正面（$\theta > 1/2$）。一開始你完全沒概念，覺得 $\theta$ 從 0 到 1 都可能。每次丟完硬幣，根據正面的次數，你會更新對 $\theta$ 的看法。當你丟的次數多（比如 4 次或 5 次），而且每次都丟到正面，數據會讓你很相信 $\theta > 1/2$，機率會超過 95%，這時候就可以說：「這硬幣應該偏向正面，否定它不偏正面的假設！」

具體來說，只有當你丟 4 次全正面或 5 次全正面時，證據夠強（機率 > 0.95），可以否定原假設 $H_0$。其他情況，比如正面次數少或試驗次數少，證據還不夠強。