好的，我不會在畫布中生成任何內容。以下是對您之前要求的進一步說明，確保所有內容以純文字形式呈現，並以教科書的形式完整整理貝氏估計與經典估計的比較，使用智力測驗例子：觀測數據 \( X \sim N(\theta, 100) \)，先驗分佈 \( \theta \sim N(100, 225) \)，單次測驗結果 \( X = 115 \)，並聚焦於估計 \(\theta\)、均方誤差（MSE）、標準誤（SE）以及兩者的關係。
---
# 貝氏估計與經典估計：以智力測驗為例的比較
## 1. 問題背景
假設我們進行一次智力測驗，測驗分數 \( X \) 服從正態分佈 \( X \sim N(\theta, 100) \)，其中 \(\theta\) 是未知的真實平均分數，方差 \(\sigma^2 = 100\)。我們有以下信息：
- **觀測數據**：單次測驗分數 \( X = 115 \)，樣本數 \( n = 1 \)。
- **先驗分佈**：根據歷史數據或專家意見，假設 \(\theta\) 服從正態分佈 \( \theta \sim N(100, 225) \)，即先驗均值 \(\mu_0 = 100\)，先驗方差 \(\sigma_0^2 = 225\)。
- **目標**：估計 \(\theta\)，計算其均方誤差（MSE）和標準誤（SE），並比較貝氏估計與經典估計的差異。
本章將詳細推導經典估計與貝氏估計的結果，分析它們在點估計、誤差衡量（MSE 和 SE）以及區間估計上的差異，並闡述兩者的關係。
---
## 2. 經典估計（頻率學派）
### 2.1 方法
經典估計（也稱頻率學派估計）假設參數 \(\theta\) 是固定的未知常數，僅依賴觀測數據進行推斷。我們使用**最大似然估計（MLE）**來估計 \(\theta\)。
對於正態分佈 \( X \sim N(\theta, \sigma^2) \)，似然函數為：
\[
L(\theta | X) = \frac{1}{\sqrt{2\pi \sigma^2}} \exp\left(-\frac{(X - \theta)^2}{2\sigma^2}\right)
\]
最大化似然函數等價於最小化 \((X - \theta)^2\)。對於單次觀測 \( X = 115 \)，樣本均值為：
\[
\bar{X} = 115
\]
因此，MLE 估計為：
\[
\hat{\theta}_{\text{MLE}} = \bar{X} = 115
\]
### 2.2 標準誤（SE）
標準徒（Standard Error, SE）衡量估計量 \(\hat{\theta}\) 的變異性，計算公式為：
\[
SE = \sqrt{\text{Var}(\hat{\theta})} = \frac{\sigma}{\sqrt{n}}
\]
其中：
- \(\sigma^2 = 100\)，所以 \(\sigma = \sqrt{100} = 10\)；
- 樣本數 \( n = 1 \)；
代入計算：
\[
SE = \frac{10}{\sqrt{1}} = 10
\]
### 2.3 均方誤差（MSE）
均方誤差（MSE）衡量估計量 \(\hat{\theta}\) 與真實參數 \(\theta\) 之間誤差的期望值，公式為：
\[
\text{MSE}(\hat{\theta} | X) = \text{Var}(\hat{\theta} | X) + [\text{Bias}(\hat{\theta} | X)]^2
\]
其中：
- **方差**：因為 \(\hat{\theta} = \bar{X} \sim N(\theta, \sigma^2 / n)\)，所以：
\[
\text{Var}(\hat{\theta} | X) = \text{Var}(\bar{X}) = \frac{\sigma^2}{n} = \frac{100}{1} = 100
\]
- **偏差**：因為 \(\bar{X}\) 是無偏估計量，期望值為：
\[
E(\hat{\theta}) = E(\bar{X}) = \theta
\]
所以：
\[
\text{Bias}(\hat{\theta} | X) = E(\hat{\theta}) - \theta = \theta - \theta = 0
\]
- **MSE**：
\[
\text{MSE}(\hat{\theta} | X) = 100 + 0 = 100
\]
### 2.4 置信區間
95% 置信區間（Confidence Interval）使用正態近似：
\[
\hat{\theta} \pm 1.96 \cdot SE
\]
代入數值：
\[
115 \pm 1.96 \cdot 10 = 115 \pm 19.6 = (95.4, 134.6)
\]
**解釋**：如果重複多次這樣的實驗，95% 的置信區間會包含真實的 \(\theta\)。這是一個基於長期頻率的陳述，不表示 \(\theta\) 有 95% 的概率在 \([95.4, 134.6]\) 內。
### 2.5 經典估計結果
- 點估計：\(\hat{\theta} = 115\)
- 標準誤：\( SE = 10 \)
- MSE：\( 100 \)
- 95% 置信區間：\([95.4, 134.6]\)
---
## 3. 貝氏估計
### 3.1 方法
貝氏估計假設 \(\theta\) 是隨機變量，具有先驗分佈。給定先驗 \(\theta \sim N(100, 225)\) 和觀測數據 \( X \sim N(\theta, 100) \)，我們使用貝氏定理計算後驗分佈：
\[
P(\theta | X) \propto P(X | \theta) \cdot P(\theta)
\]
因為正態分佈具有共軛性質，當先驗和似然均為正態分佈時，後驗分佈仍是正態分佈 \( \theta | X \sim N(\mu_{\text{post}}, \sigma_{\text{post}}^2) \)。後驗均值和方差的公式如下：
#### 3.1.1 後驗均值
\[
\mu_{\text{post}} = \frac{\frac{\mu_0}{\sigma_0^2} + \frac{n \bar{X}}{\sigma^2}}{\frac{1}{\sigma_0^2} + \frac{n}{\sigma^2}}
\]
代入數值：
- 先驗：\(\mu_0 = 100\), \(\sigma_0^2 = 225\)；
- 數據：\(\sigma^2 = 100\), \( n = 1 \), \(\bar{X} = 115\)。
- 分母：
\[
\frac{1}{\sigma_0^2} + \frac{n}{\sigma^2} = \frac{1}{225} + \frac{1}{100} = \frac{100 + 225}{225 \cdot 100} = \frac{325}{22500} = \frac{13}{900}
\]
- 分子：
\[
\frac{\mu_0}{\sigma_0^2} = \frac{100}{225} = \frac{4}{9} \approx 0.4444
\]
\[
\frac{n \bar{X}}{\sigma^2} = \frac{1 \cdot 115}{100} = 1.15
\]
\[
\frac{4}{9} + 1.15 \approx 0.4444 + 1.15 = 1.5944
\]
- 後驗均值：
\[
\mu_{\text{post}} = \frac{1.5944}{\frac{13}{900}} = 1.5944 \cdot \frac{900}{13} \approx 110.2615
\]
#### 3.1.2 後驗方差
\[
\sigma_{\text{post}}^2 = \frac{1}{\frac{1}{\sigma_0^2} + \frac{n}{\sigma^2}}
\]
代入數值：
\[
\sigma_{\text{post}}^2 = \frac{1}{\frac{1}{225} + \frac{1}{100}} = \frac{1}{\frac{13}{900}} = \frac{900}{13} \approx 69.2308
\]
後驗標準差：
\[
\sigma_{\text{post}} = \sqrt{69.2308} \approx 8.3187
\]
因此，後驗分佈為：
\[
\theta | X \sim N(110.2615, 69.2308)
\]
貝氏估計通常取後驗均值作為點估計：
\[
\hat{\theta}_{\text{Bayes}} \approx 110.26
\]
### 3.2 均方誤差（MSE）
在貝氏框架中，當使用後驗均值作為估計量時，MSE 等於後驗方差（因為後驗均值是條件期望，無偏於後驗分佈）：
\[
\text{MSE}_{\text{Bayes}} = \sigma_{\text{post}}^2 \approx 69.2308
\]
### 3.3 可信區間
95% 可信區間（Credible Interval）使用後驗分佈的分位數：
\[
\mu_{\text{post}} \pm 1.96 \cdot \sigma_{\text{post}}
\]
代入數值：
\[
110.2615 \pm 1.96 \cdot 8.3187 \approx 110.2615 \pm 16.3047 = (93.9568, 126.5662)
\]
**解釋**：根據後驗分佈，\(\theta\) 有 95% 的概率落在 \([93.96, 126.57]\) 內，這是一個直接的概率陳述。
### 3.4 貝氏估計結果
- 點估計：\(\hat{\theta} \approx 110.26\)
- 後驗標準差：\(\sigma_{\text{post}} \approx 8.32\)
- MSE：\( \approx 69.2308 \)
- 95% 可信區間：\([93.96, 126.57]\)
---
## 4. 比較與分析
以下將經典估計與貝氏估計的結果進行比較，並分析它們在點估計、誤差衡量（MSE 和 SE）以及區間估計上的差異。
### 4.1 結果比較
| | 經典估計 | 貝氏估計 |
|---|---|---|
| **點估計** | 115 | 110.26 |
| **方差** | 100 | 69.2308 |
| **標準誤/標準差** | 10 | 8.32 |
| **MSE** | 100 | 69.2308 |
| **95% 區間** | [95.4, 134.6] | [93.96, 126.57] |
| **區間解釋** | 長期頻率（95% 的區間包含真值） | 直接概率（95% 概率 \(\theta\) 在區間內） |
### 4.2 差異分析
1. **點估計**：
- **經典估計**：\(\hat{\theta} = 115\)，直接使用樣本均值 \(\bar{X} = 115\)，完全依賴觀測數據。
- **貝氏估計**：\(\hat{\theta} \approx 110.26\)，是先驗均值 (\(\mu_0 = 100\)) 和觀測值 (\(\bar{X} = 115\)) 的加權平均。由於樣本數 \( n = 1 \)，數據信息有限，先驗分佈 (\(\sigma_0^2 = 225\)) 對結果影響較大，將估計值拉向 100。
2. **標準誤/標準差**：
- **經典估計**：標準誤 \( SE = 10 \)，由數據方差 \(\sigma^2 / n = 100 / 1 = 100\) 的平方根計算，反映數據的變異性。
- **貝氏估計**：後驗標準差 \(\sigma_{\text{post}} \approx 8.32\)，低於經典估計的 SE，因為先驗信息縮小了不確定性。後驗方差 \(\sigma_{\text{post}}^2 \approx 69.2308\) 是先驗方差 (\( 225 \)) 和數據方差 (\( 100 \)) 的調和結果。
3. **均方誤差（MSE）**：
- **經典估計**：\(\text{MSE} = 100\)，等於估計量方差，因為 \(\hat{\theta} = \bar{X}\) 無偏 (\(\text{Bias} = 0\))。
- **貝氏估計**：\(\text{MSE} \approx 69.2308\)，等於後驗方差，低於經典估計，因為先驗信息減少了估計的不確定性。雖然貝氏估計可能引入偏差（取決於真實 \(\theta\) 與先驗均值 100 的差異），但總體 MSE 較低，反映了偏差-方差的權衡。
4. **區間估計**：
- **經典估計**：95% 置信區間 \([95.4, 134.6]\) 較寬，反映了小樣本 (\( n = 1 \)) 的高不確定性。置信區間的解釋基於長期頻率。
- **貝氏估計**：95% 可信區間 \([93.96, 126.57]\) 較窄，因為先驗信息減少了不確定性。可信區間提供直接的概率解釋，適合決策分析。
### 4.3 MSE 與 SE 的關係
- **經典估計**：
- MSE 公式：
\[
\text{MSE}(\hat{\theta} | X) = \text{Var}(\hat{\theta} | X) + [\text{Bias}(\hat{\theta} | X)]^2
\]
因為 \(\hat{\theta} = \bar{X}\) 無偏，\(\text{Bias} = 0\)，所以：
\[
\text{MSE} = \text{Var}(\hat{\theta}) = \frac{\sigma^2}{n} = 100
\]
- 標準誤：
\[
SE = \sqrt{\text{Var}(\hat{\theta})} = \sqrt{100} = 10
\]
- 關係：當估計量無偏時，\(\text{MSE} = SE^2 = 10^2 = 100\)。
- **貝氏估計**：
- MSE 等於後驗方差，因為後驗均值是條件期望，無偏於後驗分佈：
\[
\text{MSE}_{\text{Bayes}} = \sigma_{\text{post}}^2 \approx 69.2308
\]
- 後驗標準差（類似於 SE）：
\[
\sigma_{\text{post}} = \sqrt{69.2308} \approx 8.32
\]
- 關係：\(\text{MSE}_{\text{Bayes}} = \sigma_{\text{post}}^2 = (8.32)^2 \approx 69.2308\)。
---
## 5. 結論
- **經典估計**：
- 點估計 \(\hat{\theta} = 115\)，標準誤 \( SE = 10 \)，MSE = 100，95% 置信區間 \([95.4, 134.6]\)。
- **優點**：無需先驗，計算簡單，結果客觀，特別適合大樣本或標準化問題。
- **缺點**：在小樣本 (\( n = 1 \)) 時，MSE 和 SE 較大，反映高不確定性，且無法利用外部信息。
- **貝氏估計**：
- 點估計 \(\hat{\theta} \approx 110.26\)，後驗標準差 \(\sigma_{\text{post}} \approx 8.32\)，MSE \(\approx 69.2308\)，95% 可信區間 \([93.96, 126.57]\)。
- **優點**：結合先驗信息 \( \theta \sim N(100, 225) \)，降低 MSE 和不確定性，特別在小樣本時表現更好。可信區間的概率解釋直觀。
- **缺點**：結果依賴先驗選擇，若先驗不準確，可能引入偏差。
- **MSE 與 SE 的關係**：
- 在經典估計中，當估計量無偏時，\(\text{MSE} = SE^2\)，本例中 \(\text{MSE} = 100 = 10^2\)。
- 在貝氏估計中，MSE 等於後驗方差，後驗標準差類似於 SE，但因先驗信息影響，數值較小 (\(\text{MSE} \approx 69.2308 = (8.32)^2\))。
---
## 6. 實際應用
- **經典估計**：適用於數據充足、需要客觀結果的場景，如標準化測驗、質量控制或大規模調查。本例中，單次測驗 (\( n = 1 \)) 導致較高的 MSE 和 SE，顯示小樣本的局限性。
- **貝氏估計**：適用於有歷史數據或專家知識的場景，如醫療試驗、機器學習或小樣本分析。本例中的先驗 \(\theta \sim N(100, 225)\) 假設平均智力分數接近 100（符合常見標準化測驗），結合單次觀測 \( X = 115 \)，提供了更穩定的估計（MSE 較低）。
若先驗分佈不準確（例如，假設 \(\theta \sim N(150, 225)\)），貝氏估計可能偏離真實 \(\theta\)，需謹慎選擇先驗。本例的先驗合理，因為智力測驗的平均分數通常標準化為 100。
---
## 7. 總結
通過智力測驗例子，我們展示了經典估計和貝氏估計在估計 \(\theta\) 及其誤差上的差異：
- 經典估計依賴數據，簡單但在小樣本時不確定性高（MSE = 100，SE = 10）。
- 貝氏估計結合先驗和數據，降低不確定性（MSE \(\approx 69.2308\)，後驗標準差 \(\approx 8.32\)），但結果受先驗影響。
- MSE 與 SE 的關係在無偏估計下為 \(\text{MSE} = SE^2\)，在貝氏框架中則為 \(\text{MSE} = \sigma_{\text{post}}^2\)。
如果需要進一步推導（如不同先驗的影響、計算偏差或後驗分佈的視覺化），請告知！
沒有留言:
張貼留言