🔥 從 PDE 到 Backprop：十九世紀物理與二十一世紀 AI 的平行進化

前言

如果你今天在做 LLM 研究，常常覺得一切混亂、缺乏統一理論，不要驚慌。
這種感覺，十九世紀的物理學家們也有過。

1800 年代，熱傳導、聲波、流體力學、電磁學，看似是四套完全不同的知識。但隨著傅里葉、柯西、Navier、馬克士威等人的努力，人類逐漸找到了背後的黃金套路：

守恆 → flux（本構律） → 散度定理 → PDE

而這套框架，正好對應到我們今天在深度學習、LLM 裡看到的另一個黃金套路：

表示 (Representation) → 流動 (Flux) → 損失 (Loss) → Backprop

在物理學的黃金世紀裡，幾乎所有新方程都遵循同樣的結構：

守恆：找出不會憑空消失的量
- 質量、動量、能量、電荷
- 控制體積思想：進 − 出 = 存量變化
flux（本構律）：建立「流動規律」
- Fourier’s Law： $\vec q=-k\nabla T$
- 等熵關係： $p=c^2\rho$
- Hooke 定律： $\sigma=\lambda\nabla\cdot u + 2\mu\varepsilon$
散度定理：把整體收支轉換成局部 PDE
- 熱方程： $T_t=\alpha\nabla^2 T$
- 聲波： $p_{tt}=c^2\nabla^2 p$
- Maxwell： $\nabla\cdot\vec E=\rho/\varepsilon_0$ ， $\nabla\times\vec B=\mu_0\vec J+\mu_0\varepsilon_0 \vec E_t$
- Navier–Stokes、Einstein 方程亦然

結果？十九世紀末，物理世界被 PDE 統治。

從 AlexNet (2012) 開始，深度學習也逐漸浮現出一套「黃金套路」：

表示 (Representation)
- 把輸入（文字、圖片、聲音）轉成高維 embedding
- 就像物理裡要先選「狀態變數」(T, p, ρ, E)
流動 (Flux)
- CNN 的卷積核、RNN 的記憶門、Transformer 的注意力權重
- 定義訊息如何在網路中流動
- 就像 Fourier 定律或 Hooke 定律，規範「量怎麼流」
守恆 / 損失函數 (Loss)
- 整體目標函數：cross-entropy、MSE、對比學習 loss
- 是系統的「守恆律」：模型必須收支平衡在這個目標下
數學轉換：Backprop
- 把全域 loss 拆成局部梯度更新
- 就像散度定理把面通量轉換成本地微分
結果：統一框架
- GPT 系列證明，這套套路可以統一 NLP 任務
- 正如 Maxwell 方程統一了電與磁

元素	19 世紀物理	21 世紀 AI
狀態量	溫度 T、壓力 p、密度 ρ、電場 E	表示 embedding、隱狀態 h
守恆律	質量、能量、動量、電荷守恆	損失函數 (Loss)
flux / 本構	Fourier, Hooke, 等熵律	CNN 卷積、LSTM 門控、Transformer 注意力
數學轉換	散度/旋度定理 → PDE	Backprop → 局部梯度
PDE / 更新律	熱方程、波動方程、Maxwell、Navier–Stokes、Einstein Eq.	參數更新 $\theta_{t+1}=\theta_t-\eta\nabla_\theta L$
材料常數	熱導率 k、聲速 c、黏性 μ	學習率 η、層數、維度、激活函數
最終成果	PDE 統治自然現象	LLM 統治 AI 任務

十九世紀的物理學家，用「守恆 / flux / 散度 → PDE」統一了熱學、聲學、電磁、流體、重力。
二十一世紀的 AI 研究者，則在用「表示 / 流動 / loss → Backprop」統一 NLP、CV、語音、推理任務。

換句話說：
我們正站在 AI 的「馬克士威時刻」之前。
就像 1860 年代的物理學家隱隱感到，一個統一場論即將到來，我們今天也能感受到，AI 的統一理論正在醞釀。