Mixture of Experts (MoE)(Mixture of Experts)

Mixture of Experts（MoE）は、推論時に モデル全体ではなく一部の「専門家」サブネットだけを活性化する LLM アーキテクチャ。総パラメータ数は巨大でも、1 トークン処理時に必要な計算量（FLOPs）は activated parameter 分だけで済む。

2026 年代表例は DeepSeek V4 Pro（1.6T 総パラメータ / 49B activated）、DeepSeek V4 Flash（284B / 13B）、Gemma 4 26B MoE、Qwen 3.5 397B（A17B activated）。性能とコスト効率を両立させる設計として、frontier モデル開発の主流アプローチとなった。