はじめに

上巻目次

第1章　深層学習革命
　1.1　深層学習の衝撃
　　1.1.1　医療診断
　　1.1.2　タンパク質の構造
　　1.1.3　画像生成
　　1.1.4　大規模言語モデル
　1.2　機械学習入門
　　1.2.1　人工データ
　　1.2.2　線形モデル
　　1.2.3　誤差関数
　　1.2.4　モデル複雑度
　　1.2.5　正則化
　　1.2.6　モデル選択
　1.3　機械学習史略
　　1.3.1　単層ニューラルネット
　　1.3.2　誤差逆伝播法
　　1.3.3　深層ニューラルネット

第2章　確率論
　2.1　確率の演算則
　　2.1.1　医療検診の例
　　2.1.2　和の法則と積の法則
　　2.1.3　ベイズの定理
　　2.1.4　医療検診の例：続き
　　2.1.5　事前確率と事後確率
　　2.1.6　独立変数
　2.2　確率密度
　　2.2.1　分布の例
　　2.2.2　期待値と共分散
　2.3　ガウス分布
　　2.3.1　平均と分散
　　2.3.2　尤度関数
　　2.3.3　最尤推定のバイアス
　　2.3.4　線形回帰
　2.4　確率密度の変換
　　2.4.1　多変量の確率分布
　2.5　情報理論
　　2.5.1　エントロピー
　　2.5.2　物理学的視点からの解釈
　　2.5.3　微分エントロピー
　　2.5.4　微分エントロピーの最大化
　　2.5.5　カルバック–ライブラーダイバージェンス
　　2.5.6　条件付きエントロピー
　　2.5.7　相互情報量
　2.6　ベイズ主義的確率
　　2.6.1　モデルのパラメータ
　　2.6.2　正則化
　　2.6.3　ベイズ主義的機械学習
　演習問題

第3章　代表的な確率分布
　3.1　離散変数の分布
　　3.1.1　ベルヌーイ分布
　　3.1.2　二項分布
　　3.1.3　多項分布
　3.2　多変量ガウス分布
　　3.2.1　幾何学的特性
　　3.2.2　モーメント
　　3.2.3　パラメータ数と分布形状の制限
　　3.2.4　条件付き分布
　　3.2.5　周辺分布
　　3.2.6　ベイズの定理
　　3.2.7　最尤推定
　　3.2.8　逐次学習
　　3.2.9　ガウス分布の混合分布
　3.3　周期変数
　　3.3.1　フォン・ミーゼス分布
　3.4　指数型分布族
　　3.4.1　十分統計量
　3.5　ノンパラメトリック推定法
　　3.5.1　ヒストグラム密度推定
　　3.5.2　カーネル密度推定法
　　3.5.3　最近隣法
　演習問題

第4章　単層ニューラルネット：回帰問題
　4.1　線形回帰問題
　　4.1.1　基底関数
　　4.1.2　尤度関数
　　4.1.3　最尤推定法
　　4.1.4　最小二乗法の幾何的解釈
　　4.1.5　逐次学習
　　4.1.6　正則化最小二乗法
　　4.1.7　多変量出力
　4.2　決定理論
　4.3　バイアス–バリアンスのトレードオフ
　演習問題

第5章　単層ニューラルネット：分類問題
　5.1　識別関数
　　5.1.1　2クラスの場合
　　5.1.2　多クラスの場合
　　5.1.3　1-of-符号化
　　5.1.4　最小二乗法
　5.2　決定理論
　　5.2.1　誤分類率
　　5.2.2　期待損失
　　5.2.3　棄却オプション
　　5.2.4　推論段階と決定段階
　　5.2.5　分類器の正確さ
　　5.2.6　ROC曲線
　5.3　生成モデルによる分類
　　5.3.1　連続値入力
　　5.3.2　最尤推定
　　5.3.3　離散値の特徴
　　5.3.4　指数型分布族
　5.4　識別モデルによる分類
　　5.4.1　活性化関数
　　5.4.2　基底関数の利用
　　5.4.3　ロジスティック回帰モデル
　　5.4.4　多クラスのロジスティック回帰モデル
　　5.4.5　プロビット回帰モデル
　　5.4.6　正準連結関数
　演習問題

第6章　深層ニューラルネット
　6.1　不変な基底関数を用いることによる制限
　　6.1.1　次元の呪い
　　6.1.2　高次元空間
　　6.1.3　データ多様体
　　6.1.4　データに依存した基底関数
　6.2　多層ニューラルネット
　　6.2.1　パラメータ行列
　　6.2.2　万能近似
　　6.2.3　隠れユニットの活性化関数
　　6.2.4　重み空間対称性
　6.3　深層ニューラルネット
　　6.3.1　階層的表現
　　6.3.2　分散表現
　　6.3.3　表現学習
　　6.3.4　転移学習
　　6.3.5　対照学習
　　6.3.6　ネットワーク構成の一般化
　　6.3.7　テンソル
　6.4　誤差関数
　　6.4.1　回帰問題
　　6.4.2　2クラス分類問題
　　6.4.3　多クラス分類問題
　6.5　混合密度ネットワーク
　　6.5.1　ロボット運動学の例
　　6.5.2　条件付き混合分布
　　6.5.3　勾配法による最適化
　　6.5.4　予測分布
　演習問題

第7章　勾配降下法
　7.1　誤差曲面
　　7.1.1　局所二次近似
　7.2　勾配降下法による最適化
　　7.2.1　勾配情報の利用
　　7.2.2　バッチ勾配降下法
　　7.2.3　確率的勾配降下法
　　7.2.4　ミニバッチの利用
　　7.2.5　パラメータの初期化
　7.3　収束の速さ
　　7.3.1　モーメント法
　　7.3.2　学習率の計画
　　7.3.3　RMSProp法とAdam法
　7.4　正規化
　　7.4.1　データ正規化
　　7.4.2　バッチ正規化
　　7.4.3　層正規化
　　演習問題

第8章　誤差逆伝播法
　8.1　勾配の計算
　　8.1.1　単層ネットワーク
　　8.1.2　フィードフォワードネットへの一般化
　　8.1.3　簡単な例
　　8.1.4　数値微分
　　8.1.5　ヤコビ行列
　　8.1.6　ヘッセ行列
　8.2　自動微分
　　8.2.1　順方向型自動微分
　　8.2.2　逆方向型自動微分
　演習問題

第9章　正則化
　9.1　帰納バイアス
　　9.1.1　逆問題
　　9.1.2　ノーフリーランチ定理
　　9.1.3　対称性と不変性
　　9.1.4　同変性
　9.2　重み減衰　
　　9.2.1　一貫性のある正則化項
　　9.2.2　一般化重み減衰
　9.3　学習曲線
　　9.3.1　早期終了
　　9.3.2　二重降下
　9.4　パラメータ共有
　　9.4.1　ソフト重み共有
　9.5　残差接続
　9.6　モデル平均化
　　9.6.1　ドロップアウト
　演習問題


付録A　線形代数
　A.1　行列の公式
　A.2　トレースと行列式
　A.3　行列の導関数
　A.4　固有ベクトル

付録B　変分法

付録C　ラグランジュ乗数法

参考文献

和文索引

英文索引