2025年7月15日 星期二

平方損失函數下,貝葉斯估計

 

問題背景

  1. 隨機變量 X X 服從泊松分佈,概率質量函數為: P(X=xθ)=eθθxx!,x=0,1,2,,θ>0P(X = x | \theta) = \frac{e^{-\theta} \theta^x}{x!}, \quad x = 0, 1, 2, \dots, \quad \theta > 0 其中 θ \theta 是泊松分佈的參數(即均值和方差)。
  2. 先驗分佈θ \theta 的先驗分佈是伽馬分佈 Gamma(α,λ) \text{Gamma}(\alpha, \lambda) ,其概率密度函數為: π(θ)=λαΓ(α)θα1eλθ,θ>0\pi(\theta) = \frac{\lambda^\alpha}{\Gamma(\alpha)} \theta^{\alpha - 1} e^{-\lambda \theta}, \quad \theta > 0 其中 α \alpha (形狀參數)和 λ \lambda (速率參數)是已知的。
  3. 目標
    • θ \theta 的後驗分佈 π(θx) \pi(\theta | \mathbf{x}) ,其中 x=(x1,x2,,xn) \mathbf{x} = (x_1, x_2, \dots, x_n) 是獨立同分佈的樣本。
    • 在平方損失函數下,求 θ \theta 的貝葉斯估計。

第一步:求後驗分佈

假設我們有 n n 個獨立同分佈的樣本 x=(x1,x2,,xn) \mathbf{x} = (x_1, x_2, \dots, x_n) ,每個 xiPoisson(θ) x_i \sim \text{Poisson}(\theta) 。樣本的聯合似然函數為:

L(θx)=i=1nP(xiθ)=i=1neθθxixi!=enθθi=1nxii=1nxi!L(\theta | \mathbf{x}) = \prod_{i=1}^n P(x_i | \theta) = \prod_{i=1}^n \frac{e^{-\theta} \theta^{x_i}}{x_i!} = \frac{e^{-n\theta} \theta^{\sum_{i=1}^n x_i}}{\prod_{i=1}^n x_i!}

忽略與 θ \theta 無關的常數項(因為它們在後驗分佈中會被歸一化),似然函數正比於:

L(θx)enθθi=1nxiL(\theta | \mathbf{x}) \propto e^{-n\theta} \theta^{\sum_{i=1}^n x_i}

先驗分佈為:

π(θ)θα1eλθ\pi(\theta) \propto \theta^{\alpha - 1} e^{-\lambda \theta}

根據貝葉斯定理,後驗分佈為:

π(θx)L(θx)π(θ)(enθθi=1nxi)(θα1eλθ)\pi(\theta | \mathbf{x}) \propto L(\theta | \mathbf{x}) \cdot \pi(\theta) \propto (e^{-n\theta} \theta^{\sum_{i=1}^n x_i}) \cdot (\theta^{\alpha - 1} e^{-\lambda \theta})

合併同類項:

π(θx)θi=1nxi+α1e(n+λ)θ\pi(\theta | \mathbf{x}) \propto \theta^{\sum_{i=1}^n x_i + \alpha - 1} e^{-(n + \lambda)\theta}

這是伽馬分佈 Gamma(α,λ) \text{Gamma}(\alpha', \lambda') 的核心形式,其中:

  • 形狀參數:α=α+i=1nxi \alpha' = \alpha + \sum_{i=1}^n x_i
  • 速率參數:λ=λ+n \lambda' = \lambda + n

因此,後驗分佈為:

θxGamma(α+i=1nxi,λ+n)\theta | \mathbf{x} \sim \text{Gamma}\left( \alpha + \sum_{i=1}^n x_i, \lambda + n \right)

第二步:平方損失函數下的貝葉斯估計

在平方損失函數 L(θ,θ^)=(θθ^)2 L(\theta, \hat{\theta}) = (\theta - \hat{\theta})^2 下,貝葉斯估計是後驗分佈的期望值,即:

θ^Bayes=E[θx]\hat{\theta}_{\text{Bayes}} = E[\theta | \mathbf{x}]

對於伽馬分佈 Gamma(α,λ) \text{Gamma}(\alpha', \lambda') ,期望值為:

E[θ]=αλE[\theta] = \frac{\alpha'}{\lambda'}

代入後驗分佈的參數:

α=α+i=1nxi,λ=λ+n\alpha' = \alpha + \sum_{i=1}^n x_i, \quad \lambda' = \lambda + n

因此,貝葉斯估計為:

θ^Bayes=α+i=1nxiλ+n\hat{\theta}_{\text{Bayes}} = \frac{\alpha + \sum_{i=1}^n x_i}{\lambda + n}

最終答案

  1. 後驗分佈θxGamma(α+i=1nxi,λ+n)\theta | \mathbf{x} \sim \text{Gamma}\left( \alpha + \sum_{i=1}^n x_i, \lambda + n \right)
  2. 平方損失函數下的貝葉斯估計θ^Bayes=α+i=1nxiλ+n\hat{\theta}_{\text{Bayes}} = \frac{\alpha + \sum_{i=1}^n x_i}{\lambda + n}

這就是 θ \theta 的後驗分佈和貝葉斯估計。

沒有留言:

張貼留言