CMA-ESによるブラックボックス最適化

第1章 ブラックボックス最適化
1.1 問題設定
1.2 CMA-ESの活躍する場面
1.3 本書のゴールと構成

第2章 分布パラメータの更新則
2.1 挙動の直感的理解
2.2 多変量正規分布
2.3 候補解のサンプリング
2.4 平均ベクトルの更新
2.5 共分散行列の更新
□2.5.1 Rank-μ更新
□2.5.2 Rank-one更新
2.6 ステップサイズの更新
2.7 CMA-ESのアルゴリズム
2.8 ハイパーパラメータの設定
2.9 Pythonによる実装例
□2.9.1 CMA-ESの簡易的なPython実装
□2.9.2 pycmaライブラリの利用例
□2.9.3 cmaesライブラリの利用例
2.10 上下限制約の対処
2.11 初期分布の設定方法

第3章 ベンチマークによる挙動解析
3.1 ベンチマーク関数
3.2 可視化指標
3.3 実験結果と考察
□3.3.1 Sphere関数での実験結果
□3.3.2 Ellipsoid関数での実験結果
□3.3.3 Rosenbrock関数での実験結果
□3.3.4 Rastrigin関数での実験結果
□3.3.5 共分散行列適応の影響調査

第4章 設計原理
4.1 不偏性
4.2 不変性
□4.2.1 目的関数の狭義単調増加変換に対する不変性
□4.2.2 探索空間の座標変換に対する不変性
4.3 自然勾配法
□4.3.1 確率緩和:x空間での最適化からθ空間での最適化へ
□4.3.2 ユークリッド空間からの脱却
□4.3.3 自然勾配
□4.3.4 自然勾配法とCMA-ESの接続
□4.3.5 情報幾何的最適化

第5章 高次元最適化
5.1 CMA-ESの時間・空間計算量
5.2 Sep-CMA-ES
□5.2.1 Sep-CMA-ESのアルゴリズム
□5.2.2 Sep-CMA-ESの長所と短所
5.3 VD-CMA-ES
5.4 共分散行列モデルと収束レートの関係
5.5 実験結果と考察
□5.5.1 Sep-CMA-ESとVD-CMA-ESの比較
□5.5.2 低次元問題におけるCMA-ESとの比較
5.6 より発展的な手法
5.7 pycmaライブラリからの利用

第6章 学習率適応
6.1 サンプルサイズ適応と学習率適応
6.2 多峰性関数と学習率の関係
□6.2.1 x空間とθ空間での最適化
□6.2.2 自然勾配の観点からみた学習率の影響
6.3 学習率適応法
□6.3.1 動的な学習率の重要性
□6.3.2 最適学習率
□6.3.3 LRA-CMA-ESの基本的な考え方
□6.3.4 SNRの推定
□6.3.5 学習率係数の適応
□6.3.6 局所座標系
□6.3.7 共分散行列の分解
□6.3.8 ステップサイズ補正
□6.3.9 全体の手順
6.4 実験結果と考察
6.5 cmaesライブラリからの利用
6.6 実用上の注意

第7章 混合変数最適化
7.1 問題設定
7.2 CatCMA with Marginの概要
7.3 連続・整数変数の最適化
□7.3.1 単純な離散化の問題点
□7.3.2 マージン補正
□7.3.3 連続・整数変数の同時最適化
7.4 カテゴリカル変数への対処
7.5 数値実験と性能評価
7.6 cmaesライブラリからの利用

第8章 多目的最適化
8.1 問題設定
8.2 スカラー化法
□8.2.1 加重和スカラー化法
□8.2.2 Tchebycheffスカラー化法
8.3 進化的多目的最適化法
□8.3.1 候補解のサンプリング
□8.3.2 ランキングの決定と上位解の選択
□8.3.3 個体の更新
8.4 スカラー化法と進化的多目的最適化法の選択
8.5 実験と考察
□8.5.1 ベンチマーク関数
□8.5.2 実験設定
□8.5.3 評価指標
□8.5.4 実験結果