蒙特卡羅采樣方法 蒙特卡羅方法是一類用於從概率分佈生成樣本或估計期望的計算技術，特別適用於直接采樣困難的複雜分佈。本章介紹三種常見的采樣方法：接受-拒絕采樣、重樣性采樣和 MCMC 采樣，包括其原理、可行性原因及具體例子。 1. 接受-拒絕采樣（Acceptance-Rejection Sampling） 1.1 原理 接受-拒絕采樣是一種從目標分佈 ( p(x) ) 生成樣本的方法，當 ( p(x) ) 難以直接采樣時，借助一個易於采樣的建議分佈 ( q(x) )。假設存在常數 ( M )，使得對所有 ( x )，滿足：[p(x) \leq M \cdot q(x).]算法步驟如下： 從建議分佈 ( q(x) ) 采樣一個候選點 ( x )。 從均勻分佈 ( U(0, 1) ) 采樣一個值 ( u )。 若 ( u \leq \frac{p(x)}{M \cdot q(x)} )，接受 ( x ) 作為來自 ( p(x) ) 的樣本；否則拒絕，重新采樣。 1.2 可行性原因 接受-拒絕采樣可行的核心在於其接受機製確保接受的樣本分佈等於 ( p(x) )。具體數學推導如下： 對於給定 ( x )，接受概率為：[P(\text{接受} | x) = \frac{p(x)}{M \cdot q(x)}.] 總接受概率為：[P(\text{接受}) = \int \frac{p(x)}{M \cdot q(x)} \cdot q(x) , dx = \frac{1}{M} \int p(x) , dx = \frac{1}{M}.] 接受樣本的條件分佈為：[P(x | \text{接受}) = \frac{P(\text{接受} | x) \cdot q(x)}{P(\text{接受})} = \frac{\frac{p(x)}{M \cdot q(x)} \cdot q(x)}{\frac{1}{M}} = p(x).]這表明接受的樣本符合目標分佈 ( p(x) )。幾何上，該方法等價於在 ( M \cdot q(x) ) 的包絡曲線下均勻采樣，並保留落在 ( p(x) ) 曲線下的點。 1.3 例子 問題：從目標分佈 ( p(x) = 3x^2, x \in [0, 1] )（Beta(3,1) 分佈）生成樣本，假設無法直接采樣。 建議分佈：選擇 ( q(x) = U(0, 1) )，即均勻分佈，密度為 ( q(x) = 1 )。 確定 ( M )：因為 ( p(x) = 3x^2 \leq 3 \cdot 1 = 3 )，取 ( M = 3 )。 步驟： 從 ( U(0, 1) ) 采樣 ( x = 0.7 )。 計算 ( p(0.7) = 3 \cdot 0.7^2 = 1.47 )，( M \cdot q(0.7) = 3 \cdot 1 = 3 )。 從 ( U(0, 1) ) 采樣 ( u = 0.4 )。 檢查 ( u = 0.4 \leq \frac{p(0.7)}{M \cdot q(0.7)} = \frac{1.47}{3} \approx 0.49 )，接受 ( x = 0.7 )。 結果：重複該過程，接受的樣本分佈接近 ( p(x) = 3x^2 )。接受率為 ( \frac{1}{M} = \frac{1}{3} )，反映效率取決於 ( M )。 1.4 優缺點 優點：簡單，適用於低維分佈，只需 ( p(x) ) 的相對密度。 缺點：若 ( M ) 過大或 ( q(x) ) 與 ( p(x) ) 差異大，接受率低，效率差。 2. 重樣性采樣（Importance Sampling） 2.1 原理 重樣性采樣用於估計目標分佈 ( p(x) ) 下函數 ( f(x) ) 的期望：[E_p[f(x)] = \int f(x) p(x) , dx.]當直接從 ( p(x) ) 采樣困難時，引入易於采樣的建議分佈 ( q(x) )，通過重要性權重 ( w(x) = \frac{p(x)}{q(x)} ) 校正差異。期望估計為：[E_p[f(x)] = \int f(x) \frac{p(x)}{q(x)} q(x) , dx \approx \sum_{i=1}^N f(x_i) \cdot \tilde{w}(x_i),]其中 ( x_i \sim q(x) )，( \tilde{w}(x_i) = \frac{w(x_i)}{\sum_{j=1}^N w(x_j)} ) 是歸一化權重。若需生成 ( p(x) ) 的樣本，可根據 ( \tilde{w}(x_i) ) 進行重采樣。 2.2 可行性原因 重樣性采樣可行，因為權重 ( w(x) ) 校正了 ( q(x) ) 和 ( p(x) ) 的差異，確保估計無偏：[E_q\left[\frac{f(x) p(x)}{q(x)}\right] = \int f(x) \frac{p(x)}{q(x)} q(x) , dx = \int f(x) p(x) , dx = E_p[f(x)].]當樣本數 ( N \to \infty )，估計收斂到真值。通過重采樣，權重 ( \tilde{w}(x_i) \propto p(x_i) ) 使得新樣本分佈逼近 ( p(x) )。這依賴於 ( q(x) > 0 ) 當 ( p(x) > 0 )。 2.3 例子 問題：估計 ( f(x) = x^2 ) 在標準正態分佈 ( p(x) = \frac{1}{\sqrt{2\pi}} e^{-\frac{x^2}{2}} ) 下的期望 ( E_p[x^2] = 1 )，假設無法直接采樣。 建議分佈：選擇 ( q(x) = U(-2, 2) )，密度 ( q(x) = \frac{1}{4} )。 步驟： 從 ( U(-2, 2) ) 采樣 ( x_1 = -1.5, x_2 = 0.2, x_3 = 1.0 )。 計算權重： ( w(-1.5) = \frac{p(-1.5)}{q(-1.5)} \approx \frac{0.129}{0.25} \approx 0.516 ). ( w(0.2) \approx \frac{0.397}{0.25} \approx 1.588 ). ( w(1.0) \approx \frac{0.242}{0.25} \approx 0.968 ). 歸一化權重：權重和 ( 0.516 + 1.588 + 0.968 = 3.072 )，則： ( \tilde{w}(-1.5) \approx 0.168 ), ( \tilde{w}(0.2) \approx 0.517 ), ( \tilde{w}(1.0) \approx 0.315 ). 估計期望：[E_p[x^2] \approx (-1.5)^2 \cdot 0.168 + (0.2)^2 \cdot 0.517 + (1.0)^2 \cdot 0.315 \approx 0.714.] 結果：用 ( N = 1000 ) 個樣本，估計值接近真值 1。通過重采樣，可生成近似 ( p(x) ) 的樣本。 2.4 優缺點 優點：適用於期望估計，無需直接采樣 ( p(x) )，對未歸一化分佈有效。 缺點：若 ( p(x) ) 和 ( q(x) ) 差異大，權重方差高，估計不穩定。 3. MCMC 采樣（Markov Chain Monte Carlo） 3.1 原理 MCMC 通過構造一個馬爾可夫鏈，使其平穩分佈為目標分佈 ( p(x) )，生成樣本。常用方法包括 Metropolis-Hastings 算法： 從當前狀態 ( x_t ) 開始，根據建議分佈 ( q(x' | x_t) ) 提出新狀態 ( x' )。 計算接受概率：[\alpha = \min\left(1, \frac{p(x') q(x_t | x')}{p(x_t) q(x' | x_t)}\right).] 以概率 ( \alpha ) 接受 ( x' )，否則保留 ( x_t )。 重複迭代，燒入期後的樣本近似來自 ( p(x) )。 3.2 可行性原因 MCMC 可行因為馬爾可夫鏈的平穩分佈性質。若鏈滿足不可約、非週期和詳細平衡條件：[p(x) T(x' | x) = p(x') T(x | x'),]則樣本分佈收斂到 ( p(x) )。Metropolis-Hastings 的接受概率確保詳細平衡，保證收斂到 ( p(x) )。當迭代次數足夠多，燒入期後的樣本分佈接近 ( p(x) )。 3.3 例子 問題：從 ( p(x) \propto e^{-x^2/2} )（未歸一化的標準正態分佈）生成樣本。 建議分佈：選擇 ( q(x' | x_t) = N(x_t, 0.5^2) )。 步驟： 初始化 ( x_0 = 0 )。 從 ( N(0, 0.5^2) ) 提出 ( x' = 0.3 ). 計算接受概率：[\alpha = \min\left(1, \frac{e^{-0.3^2/2}}{e^{-0^2/2}}\right) = e^{-0.045} \approx 0.956.] 從 ( U(0, 1) ) 采樣 ( u = 0.8 < 0.956 )，接受 ( x_1 = 0.3 ). 結果：重複迭代，燒入期後的樣本分佈接近 ( N(0, 1) )。直方圖顯示樣本集中於 ( x \approx 0 )，符合正態分佈。 3.4 優缺點 優點：適用於高維和未歸一化分佈，靈活且廣泛應用。 缺點：燒入期長，樣本可能相關，需診斷收斂。 總結 接受-拒絕采樣：通過接受機製校正 ( q(x) ) 到 ( p(x) )，簡單但效率依賴 ( M )。 重樣性采樣：通過權重校正估計期望或生成樣本，適合期望計算但需注意權重方差。 MCMC 采樣：利用馬爾可夫鏈收斂性，適合高維複雜分佈，但需處理燒入期和相關性。 這些方法各有適用場景，選擇時需考慮分佈性質、維度和計算效率。