第1章 生成AIアプリケーションの評価の概要
1.1 生成AI アプリケーションの特徴と評価の必要性
1.2 生成AI アプリケーションの基本的な構造モデルと評価プロセスモデル
1.3 開発ライフサイクルにおける生成AI アプリケーションの評価アプローチ
1.4 まとめ

第2章 生成AIアプリケーションの評価基盤モデルと評価アプローチ
2.1 生成AI アプリケーションの品質モデル
2.2 機械学習利用システムの外部品質特性レベル
2.3 品質モデルとテストタイプを組み合わせて
2.4 生成AI アプリケーションの基盤評価モデル
2.5 評価観点基盤モデルにもとづく製品独自の評価観点モデルの構築とメトリクス設計
2.6 生成AI アプリケーション開発における開発チームとQA チームの役割分担の例
2.7 まとめ

第3章 基本的な評価メトリクス
3.1 混同行列にもとづくメトリクス
3.2 検索・RAG 向けの基本的なメトリクス
3.3 生成テキストの内容一致の基本的なメトリクス
3.4 各メトリクスを実際に運用する
3.5 まとめ

第4章 評価メトリクスのツールによる評価の実際
4.1 LLMを評価者として利用する「LLM-as-a-Judge」
4.2 メトリクスの評価環境の構築
4.3 評価の実行
4.4 pytestと統合した利用
4.5 まとめ

第5章 生成AIアプリケーションのセキュリティ評価
5.1 OWASP LLMとは
5.2 OWASP LLM2025
5.3 生成AI・LLMのセキュリティテスト・レッドチーミング
5.4 まとめ

第6章 AIエージェントの評価
6.1 AI エージェントとは
6.2 AIエージェントのパターンと構造・評価観点の例
6.3 AIエージェントの評価メトリクス
6.4 まとめ

第7章 生成AIアプリケーションのテスト・評価のその他のトピック
7.1 プロパティベースドテスト
7.2 画像分析型の生成AI アプリケーションの評価
7.3 AI 駆動開発のテスト・QA