自律的行動創発システムと身体性

1．はじめに
1.1　無目的なロボット　
1.2　恒常性に基づく自律ロボットの行動統合とその生成　
1.3　サイバネティクスから計算論的神経科学へ　

2．人工システムにおける生存
2.1　恒常性の概念　
2.2　Ashbyの超安定システム　
2.3　先行研究におけるシミュレーション・エージェントの生存・恒常性　
　2.3.1　動物行動学に基づくアプローチ　
　2.3.2　人工生命・神経モデリング・進化計算に基づくアプローチ　
　2.3.3　認知アーキテクチャ・汎用人工知能のアプローチ　
　2.3.4　計算論的神経科学におけるアプローチ　
2.4　先行研究における自律型ロボットの生存・恒常性　
　2.4.1　WAMOEBAシリーズ　
　2.4.2　動物行動学からのアプローチとAnimatアプローチ　
　2.4.3　身体性認知科学・自律エージェント設計からのアプローチ　
　2.4.4　強化学習に基づくアプローチ　
　2.4.5　ヒューマンロボットインタラクションからのアプローチ　
2.5　背景研究を踏まえた機械獣研究の立場　
2.6　オートポイエーシスの自律性の議論と機械獣研究の関係，および関心領域　

3．強化学習
3.1　エージェント・環境相互作用モデル　
3.2　MDPのダイナミクスと期待報酬　
3.3　価値関数・行動価値関数と最適方策　
3.4　MDPにおいてMarkov方策を用いる正当性　
3.5　方策勾配に基づく強化学習　
3.6　アクター・クリティックアーキテクチャ　
3.7　価値関数・アドバンテージ関数の推定　
3.8　一般化アドバンテージ推定　
3.9　深層強化学習　
　3.9.1　深層学習の概要　
　3.9.2　深層強化学習：深層学習＋強化学習　
　3.9.3　近接方策最適化法　

4．恒常性強化学習
4.1　既存の恒常性に基づく動機づけ行動メカニズムに関する問題点　
4.2　恒常性強化学習：恒常性＋強化学習　
4.3　恒常性強化学習の定式化　
4.4　関連するアプローチ　
4.5　内受容感覚の模倣学習としての恒常性強化学習　
4.6　認知発達ロボティクスにおける動機づけシステムの観点からの位置づけ　
4.7　強化学習におけるタスク統合問題との関係　
4.8　恒常性強化学習の応用における既存の問題　

5．深層恒常性強化学習
5.1　ニューラルホメオスタット　
　5.1.1　低次元入力ニューラルホメオスタットの構成　
　5.1.2　画像入力ニューラルホメオスタットの構成　
　5.1.3　最適化の詳細とハイパーパラメータ　
　5.1.4　深層恒常性強化学習における終端状態の扱い　
　5.1.5　恒常性報酬と報酬の基本設定　
5.2　先行研究における恒常性報酬　
　5.2.1　基礎恒常性報酬　
　5.2.2　バイアス恒常性報酬　
　5.2.3　カートポール報酬　
5.3　報酬補正と補正恒常性報酬の関係　
5.4　実験の概要　
5.5　実験1：連続モータ制御による2資源問題（TRP）　
　5.5.1　連続モータ制御条件下での恒常性による採餌行動の獲得　
　5.5.2　餌取り報酬との比較　
　5.5.3　内受容固定法による行動解析　
5.6　実験2：体温調節環境（thermal）でのエネルギーと体温の同時制御　
　5.6.1　連続モータ制御条件下での恒常性による体温制御・採餌行動の同時獲得　
　5.6.2　内受容固定法による体温制御エージェントの行動解析　
5.7　実験3：カメラ画像入力を用いたTRP環境　
　5.7.1　深層恒常性強化学習の高次元環境でのスケール性の実証　
　5.7.2　内受容感覚に依存した視覚顕著性　
　5.7.3　ニューラルホメオスタットの内部表現　
5.8　個体性の発現：個別のエージェントの運動傾向　
5.9　探索行動の創発可能性　

6．機械獣の構成
6.1　なぜロボットを作るのか？　
6.2　機械獣の構成へのアプローチ　
6.3　機械獣のハードウェア構成　
6.4　機械獣の充電条件と実験手順　
6.5　出力の構成　
6.6　観測情報の構成　
　6.6.1　内受容感覚の構成Ⅰ：平均モータ温度の定義　
　6.6.2　内受容感覚の構成Ⅱ：正規化エネルギー　
6.7　シミュレータの構成　
　6.7.1　機械獣・外部環境の動力学シミュレーション　
　6.7.2　シミュレーションに対する実ロボットの遅延の評価　
　6.7.3　内部ダイナミクスのモデリングⅠ：モータ温度　
　6.7.4　パラメータフィッティング　
　6.7.5　内部ダイナミククスのモデリングⅡ：バッテリー・正規化エネルギー　
6.8　深層恒常性強化学習による行動最適化　
　6.8.1　PPOによる行動最適化　
　6.8.2　ドメインランダム化と訓練環境のリセット　
　6.8.3　シミュレーションでの行動最適化結果の概要　
6.9　機械獣の成立　
　6.9.1　ハードリセットに伴う温度降下の影響　
　6.9.2　温度恒常性を含まない場合の体温変化　
6.10　内受容感覚を固定することで確認された行動特性　
　6.10.1　ナビゲーション行動の創発　
　6.10.2　モータ温度に応じた活動制御　
　6.10.3　全体的な行動戦略の可視化　

7．機械獣研究の展開
7.1　恒常性強化学習特有の性質に着目したネットワーク構造　
　7.1.1　内受容行動切替え機構・内受容Mixture of Experts　
　7.1.2　ベンチマーク環境　
　7.1.3　結果　
7.2　恒常性を原理とした動物行動のモデリング　
　7.2.1　栄養の幾何学的アプローチと長期的な栄養摂取パターン　
　7.2.2　対応する代謝ダイナミクスの想定　
　7.2.3　GFN解析に基づく行動解析　
　7.2.4　動因の重み付けに応じた採餌傾向の変化　
7.3　予測制御としてのアロスタシス　
　7.3.1　最小アロスタシスモデルの構成　
　7.3.2　最小アロスタシスモデルの応答　
7.4　恒常性に基づく動機づけが持つ多様な行動の創発能力　
　7.4.1　Homeostatic Crafter　
　7.4.2　Homeostatic Crafterでの深層恒常性強化学習の概要　
　7.4.3　恒常性から創発した複雑な手続きを持つふるまい　

8．おわりに
8.1　本書の限界と展望　
8.2　超長期で活動可能な完全自律認知発達ロボットに向けて　
8.3　パーソナルロボットの多様性と機械獣　
8.4　機械獣の幸福　

付録　定理の証明
引用・参考文献
索引