2025年5月20日 星期二

FJSP, on MOPSL embedding space

這裡是將你的幾何-物理類比想法,用數學記號與清晰結構精確表示的版本:


🔹 1. 解空間建構(MOPSL Coordinate Embedding)

定義:

  • SorigZn×Zm\mathcal{S}_{\text{orig}} \subset \mathbb{Z}^n \times \mathbb{Z}^m:原始的離散解空間,MS 絕對編碼 + OS 排序。

  • SMOPSL[0,1]n×[0,1]m\mathcal{S}_{\text{MOPSL}} \subset [0, 1]^n \times [0, 1]^m:經過 MOPSL 相對編碼與隨機化 Ready Set 解耦後的連續化解空間。

我們引入一個座標轉換函數

ϕ:SorigSMOPSL\phi: \mathcal{S}_{\text{orig}} \rightarrow \mathcal{S}_{\text{MOPSL}}

使得任一解 sSorigs \in \mathcal{S}_{\text{orig}} 對應到流形中的點 ϕ(s)\phi(s)


🔹 2. 目標函數定義(Cmax 作為勢能)

給定:

  • xMS[0,1]nx_{\text{MS}} \in [0, 1]^n:相對機台選擇變數(routing)

  • xOS[0,1]mx_{\text{OS}} \in [0, 1]^m:排序變數(sequencing)

定義 makespan 為一個連續函數(透過解碼):

C(xMS,xOS)=max(j,o)EndTime(j,o)C(x_{\text{MS}}, x_{\text{OS}}) = \max_{(j, o)} \text{EndTime}(j, o)

其中 EndTime(j,o)\text{EndTime}(j,o) 來自解碼 decode(xMS,xOS)\text{decode}(x_{\text{MS}}, x_{\text{OS}}) 後的完工時間矩陣。

→ 這裡的 CC 可以視為勢能函數,我們要最小化:

minxSMOPSLC(x)\min_{x \in \mathcal{S}_{\text{MOPSL}}} C(x)


🔹 3. 演化行為類比粒子在能場移動

定義一個動態映射:

xt+1=xt+αΔMS+βΔOSx_{t+1} = x_t + \alpha \cdot \Delta_{\text{MS}} + \beta \cdot \Delta_{\text{OS}}

  • ΔMS,ΔOS\Delta_{\text{MS}}, \Delta_{\text{OS}}:由 Tabu/VNS/PSO/GA 所導引的梯度近似方向

  • α,β\alpha, \beta:權重或 adaptive learning weights(如 reward-based)

這等價於:

  • 粒子沿著 CC 的張力梯度流動

  • GA/PSO/RL 實作為近似「梯度步伐」


🔹 4. Critical Path 作為力場方向導引

定義一個張力方向引導場:

CPC{(j,o)CPlow slack,high position}\nabla_{\text{CP}} C \subseteq \{ (j, o) \in \text{CP} \mid \text{low slack}, \text{high position} \}

→ 即為導引局部變異的方向。


🔹 5. 物理類比總結

演化元件力學類比
MS/OS 編碼粒子座標
decode()幾何場景中的排程物理化
C(x)勢能場(potential energy)
VNS/Tabu/GA/PSO力場中的微分推動(gradient-like)
CP-aware 引導力線方向、低勢能引導

需要的話,我也可以畫出對應的數學架構圖表(如流形、張力流、等高線等),便於視覺化理解。是否要我進一步圖示?

2025年5月18日 星期日

FJSP

 

Title: Embedding NP-Hard FJSP into Structured Geometric Evolution: A CP-Guided MOPSL Approach

Abstract

This paper proposes a novel genetic algorithm (GA) framework for solving the Flexible Job Shop Scheduling Problem (FJSP), focusing on embedding the NP-hard problem into a dense and geometrically interpretable space through a structured chromosome encoding. By decoupling machine selection (MS) and operation sequencing (OS) via a Multi-Objective Position-based Structured Learning (MOPSL) scheme, the algorithm enables adaptive evolution guided by critical path awareness. We introduce reward-based adaptive operator selection and slope-based mutation tuning to drive convergence. Experiments on MK benchmark datasets demonstrate performance reaching or surpassing current state-of-the-art results, particularly on MK10.

Introduction

FJSP is an NP-hard combinatorial optimization problem characterized by dual-level decisions: machine routing and operation sequencing. Traditional GA approaches often conflate these layers, leading to sparsity and difficulty in convergence. This work aims to decouple and embed FJSP into a structured space that supports critical path-guided learning and adaptive evolution, resulting in a new paradigm for optimization through structured geometry.

Literature Review

Key works that inform this study include:

  • Brandimarte (1993): Tabu search for routing and scheduling in FJSP [1].

  • Somohano-Murrieta et al. (2023): Encoding strategies for FJSP [2].

  • Sun et al. (2023): Hybrid GA with Variable Neighborhood Search [3].

These papers highlight the need for effective encoding, adaptive operators, and critical path exploitation. However, they lack a unified spatial interpretation or learning-based adaptation.

Methodology

1. MOPSL Encoding Scheme

We introduce an integer-based MS (relative machine index) and OS (ready-set-based sequencing) encoding. The OS sequence evolves through a CP-aware prioritization scheme using slack and criticality rank.

2. Critical Path-Aware Operators

  • MS Mutation: Machine selections on the critical path are locally optimized based on processing time and machine load.

  • OS Mutation: Operations are reordered via guided heuristics based on criticality and slack.

  • Adaptive VNS/Tabu: A dynamic strategy that adjusts the neighborhood size and tenure based on Cmax plateaus.

3. Reward-Based Adaptive Control

Each adjustment is tracked via its impact on makespan. A reward system adjusts the preference for MS or OS adjustment dynamically, reinforcing effective directions in the geometric space.

4. Dense Space Embedding

By using relative indexing and structured decoding, the MOPSL space avoids invalid individuals and ensures smooth search gradients. This enhances GA's ability to exploit and explore efficiently.

Experimental Results

Benchmark: MK01-MK10

  • MK10 achieves Cmax = 215, matching or improving over the best-known results.

  • Performance metrics include convergence speed, stability, and learning efficiency of MS/OS dynamics.

Discussion

We interpret the results through the lens of a geometric model:

  • The MS component adjusts the routing topology.

  • The OS component adjusts time-based sequencing.

  • The evolutionary trajectory forms a path through a manifold structured by the critical path dynamics.

Conclusion

By embedding FJSP into a structured, dense geometric space via MOPSL, and guiding evolution with critical path insights and adaptive learning, we transform an NP-hard problem into a geometry-navigable one. This enables effective, interpretable, and state-of-the-art optimization.

References

[1] Brandimarte, P. (1993). Routing and scheduling in a flexible job shop by tabu search. Annals of Operations Research, 41(3), 157-183. [2] Somohano-Murrieta, J. C. B., et al. (2023). A new solution encoding scheme for solving the Flexible Job-Shop Scheduling Problem. IEEE CEC. [3] Sun, K., et al. (2023). Hybrid genetic algorithm with variable neighborhood search. Expert Systems with Applications, 215, 119359.


Unified Model vs. Strategic Roadmap Mapping Table

Category 🧭Strategy Element 🧠Role in Geometric Model 🔬Contribution-Driven Thesis 🎯
1️⃣ Search Space DesignMS-relative (MOPSL), OS-guidedDefines coordinate system of the space, controls densitySearch Space Embedding for GA-based FJSP
2️⃣ InitializationGreedy / Random / Load-basedDetermines seed distribution within the geometric spaceMulti-Perspective Initialization in Embedded Space
3️⃣ GA EvolutionCP-aware crossover / mutationLocal differential operators in tension fieldDifferentiable Operators for Critical Path Evolution
4️⃣ Objective FunctionsCmax, tardiness, energy, etc.Scalar field shaping the evolution gradientObjective Field Shaping in Scheduling Geometry
5️⃣ Memory / ReuseElite pool, restart, learning-based recall

2025年5月17日 星期六

Enhanced MOPSL Framework Based on Integer MS/OS Chromosome with Ready Set–Guided Decoding for Flexible Job Shop Scheduling

 

1️⃣ 題目

Enhanced MOPSL Framework Based on Integer MS/OS Chromosome with Ready Set–Guided Decoding for Flexible Job Shop Scheduling


2️⃣ 摘要(Abstract)

We propose an Enhanced MOPSL framework that integrates relative machine selection (MS) with Ready Set–guided operation sequencing (OS) for solving the Flexible Job Shop Scheduling Problem (FJSP). By structuring the solution space into a dense, feasible region and incorporating meta-level coordination between routing and scheduling decisions, our approach enables more stable and interpretable evolutionary behavior. Experimental comparisons and space structure analysis show the framework's effectiveness in improving solution quality and convergence, especially on benchmark instances such as MK10.


3️⃣ 前言(Introduction)

  • FJSP 是 NP-hard,雙層決策:routing(MS)與 scheduling(OS)

  • 傳統方法常因編碼混亂導致大量修復與不穩定收斂

  • 提出一套結構穩定、演化導引、可量化分析的框架

  • 貢獻:編碼創新、解空間密度分析、演化理論驗證


4️⃣ 文獻回顧(Literature Review)

  • 傳統 GA/PSO/TS 方法之 MS/OS 結構與限制

  • MOPSL 初始應用背景與限制

  • 缺乏針對 routing/scheduling 協調之系統設計與空間結構分析


5️⃣ 方法(Methodology)

  • 架構整體:雙段式染色體(MS 相對 index + OS 排序)

  • 解碼策略:Ready Set–guided + time slot 插入邏輯

  • 解空間稠密性分析模型(Δ距離指標)

  • crossover/mutation 操作 + VNS 強化(critical path 導引)

  • 哲學核心:從 chaotic encoding → functional evolution 的演化幾何重建


6️⃣ 實驗結果(Experimental Results)

  • Benchmark 測試(MK01~MK10),與現有方法比較

  • 交互實驗設計:MS 編碼 × OS 解碼四組合

  • mutation rate sensitivity analysis(稀疏 vs 稠密)

  • 解空間結構視覺化:Δ距離 + Gantt + CP 路徑圖


7️⃣ 討論(Discussion)

  • MOPSL 為什麼帶來收斂穩定性?(空間幾何、演化可預測性)

  • 相對編碼 × 結構導引 的優勢與限制

  • 如何延伸至多目標、動態排程、強化學習整合


8️⃣ 結論與未來工作(Conclusion & Future Work)

  • 提出一種整合合法性、穩定性與可擴展性的 MOPSL 框架

  • 實驗驗證其演化品質與理論合理性

  • 未來將結合 DRL、adaptive mutation、以及多目標多階排程應用


📌 本架構具備「問題重構」、「空間導引」、「演化強化」三合一特性,是可拓展的高階 scheduling 解決平台。

2025年5月16日 星期五

Enhanced MOPSL Framework

🧠 LLM Meta-Level 問題解決架構(版本2.0)


🎯 問題場景:Flexible Job Shop Scheduling Problem (FJSP)

  • 工件需依序執行工序,每道工序可選多機台

  • 排程需同時決定:

    • 機台選擇(Routing / Machine Selection, MS)

    • 作業排序(Scheduling / Operation Sequence, OS)


🧬 Enhanced MOPSL Framework 核心策略

對應 FJSP 的雙層結構,本架構以:

  • **MS 相對機台編碼(MOPSL)**處理 routing 層決策

  • OS Ready Set 限制排序處理 scheduling 層排序 並透過整合式染色體設計,實現兩層次決策的同步協調


✅ 染色體結構設計:Routing × Scheduling 結構

MS 編碼(Routing)

  • 使用相對機台 index(合法集合內部索引)

  • 自然避免非法操作與解碼錯誤

OS 編碼(Scheduling)

  • 使用作業 job index 的 permutation 作為優先排序依據

  • 解碼時僅允許 Ready Set 中工序參與排序,保證合法性與可執行性


🔁 解碼流程:雙層協同實現

  • Routing:由 MS 相對 index 決定工序對應機台

  • Scheduling:由 OS + Ready Set 解碼控制執行順序

  • 解碼時交替執行兩層:確保每道工序安排在對應機台且滿足時間限制


🧠 解空間結構洞察與參數建議

解空間結構對突變率的影響:

編碼類型解空間性質突變率建議
傳統 MS/OSSparse高(0.2~0.5)
Enhanced MOPSL (本架構)Dense低(0.05~0.2)
  • Dense 空間:小變異 → 局部改善 → 穩定收斂

  • Sparse 空間:需大幅突變以探索遠域區域


🧮 矩陣觀點與解空間稠密性量化

解構視角:

  • 將解表示為解構矩陣:

    • MS ∈ M_{ij}: operation → machine (合法集合 index)

    • OS ∈ O_{ij}: operation 排序位置 / job index

解空間密度指標:

  • 定義:

    • D = 1 / E[Δ(S)],其中 Δ(S) 為鄰近解間的基因結構距離(如 L2 norm for MS + Kendall tau for OS)

  • 計算流程:

    1. 抽樣一群解(如 30 組)

    2. 對每組進行單次突變(MS/OS 各測)

    3. 解碼並記錄 Cmax 差異與基因距離

    4. 計算平均 Δ → 推估解空間密度


🔧 演化操作設計

  • cross_MS: 相對 index 區段交配(含逆序)

  • cross_OS: 基於作業子集的導引排序交配

  • mutation_MS: 融合最短處理時間、隨機與機台使用頻率偏好

  • mutation_OS: reverse, insert, swap 三策略融合


🔍 Meta-Level 強化(VNS for Critical Chain)

  • apply_vns_critical_OS: 調整 OS 排序,僅限於 Critical Path 操作

  • apply_vns_critical_path: 在 Critical Path 中變更 MS 選擇(相對 index),提升瓶頸作業配置


📊 實驗設計 1:Routing × Scheduling 交互作用分析

2×2 Factorial 設計:

組別MS 編碼OS 排序
A絕對Ready Set 解碼
B絕對random 排序
C相對 (MOPSL)Ready Set 解碼
D相對 (MOPSL)random 排序

評估:

  • 平均 / 標準差 Makespan

  • ANOVA / 無母數交互檢定


📉 實驗設計 2:mutation 敏感度分析

條件:

  • mutation rate 掃描範圍 0.01 ~ 0.5(step = 0.05)

  • 比較 MS/OS 傳統架構與 Enhanced MOPSL 架構

評估:

  • 每 rate 30 次測試,記錄解品質趨勢

  • 擬合平滑曲線,觀察突變區穩定性與敏感閾值


📘 架構總結

  • 針對 FJSP 雙層次結構,透過分離編碼 + 協同解碼有效解構並穩定搜尋

  • 將結構知識融入演化策略,減少修復需求、提升演化穩定性與收斂性

  • 實驗框架支援可視化、統計量化與多層驗證,可作為通用型排程架構基礎


📌 本架構具備「結構建模」+「演化導引」+「驗證可擴展性」,是具備理論意識與實作深度的 FJSP 優化策略平台。


=============================================
Even without experiment, the structural constraints of the MOPSL encoding—relative machine selection and ready-set-guided operation decoding—naturally form a denser and more topologically smooth solution space. Hence, a lower mutation rate is more suitable to exploit its local continuity, as opposed to traditional sparse MS/OS encodings that require higher mutation rates to maintain exploration capability.

2025年5月8日 星期四

LLM Meta-Level 架構應用於 HBM4 封裝議題報告

 🧠 LLM Meta-Level 架構應用於 HBM4 封裝議題報告(8 頁擴展版)


1. Motivation of the Technology

🔹 AI 世代的頻寬飢渴

  • 生成式 AI(如 GPT-4/5)模型參數達數千億甚至兆級,訓練與推論都需每秒數 TB 級的記憶體頻寬支援。

  • 在傳統 von Neumann 架構下,資料搬運成為瓶頸:算力提升,但記憶體頻寬成長趨緩,形成所謂的「記憶體牆」(Memory Wall)。

🔹 HBM 的價值定位

  • HBM(High Bandwidth Memory)透過 3D 堆疊 + TSV 技術,在小面積上提供極高頻寬與低延遲,是唯一可商用的高效能封裝記憶體方案。

  • 相對於 GDDR、DDR,HBM 擁有更低 pJ/bit 與更高平行資料存取能力,成為 AI / HPC 系統的頻寬引擎。

🔹 為何是 HBM4?

  • HBM3 已接近單一 TSV 通道/PHY 實體設計極限。HBM4 將 I/O 擴增為 2048,且單一堆疊頻寬達 2TB/s,是因應 AI 平台轉型的設計。

  • 技術演進與封裝平台共同驅動此升級:CoWoS-R 有機中介層技術為 HBM4 整合打開空間。


2. Applications Trend & Technology Trend

📍 產業應用趨勢

  • 大型語言模型(LLM)推論/訓練:資料吞吐與延遲敏感,HBM4 是 GPT-5/Claude-Next 類模型的核心記憶體技術。

  • 高效能運算(HPC)/EDA 模擬:長時間運算需大容量 + 穩定供應的頻寬,HBM 封裝可靠性與冷卻設計成為關鍵。

  • AI GPU/加速器:NVIDIA Hopper、AMD MI300 系列全面導入 HBM3/3E,未來 HBM4 + UCIe 將成核心架構。

📍 技術趨勢演進

世代頻寬堆疊層I/O 數量平台特徵
HBM2256 GB/s8-Hi1024CoWoS-Lpseudo channel
HBM3819 GB/s12Hi1024CoWoS-L/EMIBECC, DDR PHY
HBM3E1.18 TB/s12Hi1024CoWoS-R (改良)Thermal tuning, 24GB 8H config
HBM42 TB/s+16Hi2048CoWoS-RUCle x64, 更高熱設計與整合彈性
HBM5預估 2.5–3 TB/s20–24Hi2048–4096Hybrid / glass interposerPAM4, PIM, photonic ready

3. Major Challenges & Solutions

🔧 封裝整合五大核心挑戰

面向挑戰說明解決方案
I/O 密度2048 I/O × 12 Gbps,路徑走線密度極高,SI 問題嚴重精密 RDL 設計 + SI/PI 模擬工具輔助
熱設計16 層堆疊導致 stack thermal resistance 上升,易出現熱點Thermal bump, dummy die, MR-MUF 填料 + 高導熱設計
封裝平台傳統 CoWoS-L 尺寸不夠,TSV 與中介層精度成限制因素採用 CoWoS-R,支援 reticle 5.5X 大尺寸封裝
製程良率TSV 微縮與 Hybrid bonding 工藝容錯率低,IMC crack 易發Mass-reflow stacking + AI yield prediction
測試驗證2048 I/O 訊號 + scan/BIST 測試困難度高高速測試探針 + loopback DFT + KGSD platform

4. Summary

🧩 HBM4 技術價值

  • 為 AI 加速器與 LLM 計算平台提供高速記憶體頻寬,是打破記憶體瓶頸的核心要素。

  • 結合封裝、熱、電源、可靠度等跨領域設計,推動半導體邁入「記憶體計算共構」時代。

🔭 未來展望:Beyond HBM4

  • HBM5:頻寬達 3 TB/s,導入 PAM4 與更高堆疊(>20Hi)設計

  • In-package photonics:導入光互連取代傳統 copper trace,降低 SI 問題

  • PIM 與 chiplet 整合:HBM 將不只是記憶體,更成為具備計算與控制能力的模組

📌 結語

HBM4 不僅是一項記憶體升級,更是一項「平台級的技術轉折」。從頻寬、堆疊、封裝、功耗到測試,每一步都推進半導體封裝進入深層異質整合的新階段。透過 LLM Meta-Level 架構,可系統性拆解其設計、挑戰與演進方向,形成 AI 時代封裝技術的技術地圖。