平方損失函數下，貝葉斯估計

 

問題背景

1. 隨機變量 $X$ 服從泊松分佈，概率質量函數為： $$P(X = x | \theta) = \frac{e^{-\theta} \theta^x}{x!}, \quad x = 0, 1, 2, \dots, \quad \theta > 0$$ 其中 $\theta$ 是泊松分佈的參數（即均值和方差）。
2. 先驗分佈：$\theta$ 的先驗分佈是伽馬分佈 $\text{Gamma}(\alpha, \lambda)$，其概率密度函數為： $$\pi(\theta) = \frac{\lambda^\alpha}{\Gamma(\alpha)} \theta^{\alpha - 1} e^{-\lambda \theta}, \quad \theta > 0$$ 其中 $\alpha$（形狀參數）和 $\lambda$（速率參數）是已知的。
3. 目標：
   • 求 $\theta$ 的後驗分佈 $\pi(\theta | \mathbf{x})$，其中 $\mathbf{x} = (x_1, x_2, \dots, x_n)$ 是獨立同分佈的樣本。
   • 在平方損失函數下，求 $\theta$ 的貝葉斯估計。

---

第一步：求後驗分佈

假設我們有 $n$ 個獨立同分佈的樣本 $\mathbf{x} = (x_1, x_2, \dots, x_n)$，每個 $x_i \sim \text{Poisson}(\theta)$。樣本的聯合似然函數為：

$$L(\theta | \mathbf{x}) = \prod_{i=1}^n P(x_i | \theta) = \prod_{i=1}^n \frac{e^{-\theta} \theta^{x_i}}{x_i!} = \frac{e^{-n\theta} \theta^{\sum_{i=1}^n x_i}}{\prod_{i=1}^n x_i!}$$

忽略與 $\theta$ 無關的常數項（因為它們在後驗分佈中會被歸一化），似然函數正比於：

$$L(\theta | \mathbf{x}) \propto e^{-n\theta} \theta^{\sum_{i=1}^n x_i}$$

先驗分佈為：

$$\pi(\theta) \propto \theta^{\alpha - 1} e^{-\lambda \theta}$$

根據貝葉斯定理，後驗分佈為：

$$\pi(\theta | \mathbf{x}) \propto L(\theta | \mathbf{x}) \cdot \pi(\theta) \propto (e^{-n\theta} \theta^{\sum_{i=1}^n x_i}) \cdot (\theta^{\alpha - 1} e^{-\lambda \theta})$$

合併同類項：

$$\pi(\theta | \mathbf{x}) \propto \theta^{\sum_{i=1}^n x_i + \alpha - 1} e^{-(n + \lambda)\theta}$$

這是伽馬分佈 $\text{Gamma}(\alpha', \lambda')$ 的核心形式，其中：

• 形狀參數：$\alpha' = \alpha + \sum_{i=1}^n x_i$
• 速率參數：$\lambda' = \lambda + n$

因此，後驗分佈為：

$$\theta | \mathbf{x} \sim \text{Gamma}\left( \alpha + \sum_{i=1}^n x_i, \lambda + n \right)$$

---

第二步：平方損失函數下的貝葉斯估計

在平方損失函數 $L(\theta, \hat{\theta}) = (\theta - \hat{\theta})^2$ 下，貝葉斯估計是後驗分佈的期望值，即：

$$\hat{\theta}_{\text{Bayes}} = E[\theta | \mathbf{x}]$$

對於伽馬分佈 $\text{Gamma}(\alpha', \lambda')$，期望值為：

$$E[\theta] = \frac{\alpha'}{\lambda'}$$

代入後驗分佈的參數：

$$\alpha' = \alpha + \sum_{i=1}^n x_i, \quad \lambda' = \lambda + n$$

因此，貝葉斯估計為：

$$\hat{\theta}_{\text{Bayes}} = \frac{\alpha + \sum_{i=1}^n x_i}{\lambda + n}$$

---

最終答案

1. 後驗分佈： $$\theta | \mathbf{x} \sim \text{Gamma}\left( \alpha + \sum_{i=1}^n x_i, \lambda + n \right)$$
2. 平方損失函數下的貝葉斯估計： $$\hat{\theta}_{\text{Bayes}} = \frac{\alpha + \sum_{i=1}^n x_i}{\lambda + n}$$

這就是 $\theta$ 的後驗分佈和貝葉斯估計。