MLflowで実践するLLMOps――生成AIアプリケーションの実験管理と品質保証

第1章　LLMOpsの世界へようこそ
1.1　なぜ今LLMOpsが必要なのか
1.2　従来のMLOpsとLLMOpsの決定的な違い
1.3　MLflowが解決するMLOps/LLMOpsの課題
1.4　本書の構成と読み方ガイド
1.5　まとめ

第2章　MLflowとは
2.1　MLflowの進化を知る
2.2　MLflow以前の機械学習プロジェクトにおける課題（～2018年）
2.3　MLOpsプラットフォームとしてのMLflowの誕生・発展（2018～2022年）
2.4　LLMのブレークスルーと課題の変化（2023～2024年）
2.5　MLflowの誕生（2025年）
2.6　まとめ

第3章　MLflowのインストールと初期設定
3.1　前提条件の確認
3.2　サンプルプロジェクトのセットアップ
3.3　サービスの設定とエージェントのテスト実行
3.4　応用（1）：OpenAI以外のLLMを使用する場合
3.5　応用（2）：より高度なTracking Serverの設定
3.6　応用（3）：マネージドMLflowの活用
3.7　まとめ

第4章　可観測性の確保──トレーシングの導入
4.1　可観測性・トレーシングとは
4.2　LLMアプリケーションにおけるトレーシング
4.3　トレーシングを有効にする
4.4　MLflow QAエージェントへのトレーシング導入
4.5　トレースに追加情報を付与する
4.6　トレーシングの仕組みと実装
4.7　応用（1）：TypeScriptアプリケーションのトレーシング
4.8　応用（2）：トレースの検索
4.9　応用（3）：OpenTelemetryとの連携
4.10　応用（4）：並行実行とスレッド安全性
4.11　まとめ

第5章　改善サイクルを加速する　──評価の仕組み
5.1　LLMアプリケーションの品質保証の難しさ
5.2　評価の始め方：まずは実際に動かしてみる
5.3　ドメイン専門家によるレビュー
5.4　評価基準を決定する
5.5　評価データセットの準備
5.6　自動評価の実行
5.7　応用（1）：会話セッションのシミュレーションと評価
5.8　応用（2）：LLMジャッジのアライメント
5.9　応用（3）：サードパーティ評価ライブラリとの連携
5.10　まとめ

第6章　プロンプトエンジニアリング──プロンプトの運用と管理
6.1　プロンプト管理の課題とPrompt Registryの価値
6.2　プロンプトのバージョニングとライフサイクル管理
6.3　プロンプトの運用・改善戦略
6.4　まとめ

第7章　本番環境で動かす──サービングとデプロイメント
7.1　LLMサービングの課題
7.2　エージェントのサービング準備
7.3　バージョン管理とサービング評価
7.4　AI Gatewayによるプロバイダー管理
7.5　本番デプロイメント
7.6　応用（1）：ストリーミングとResponsesAgent
7.7　応用（2）：カスタムアプリケーション統合
7.8　まとめ

第8章　監視と運用──LLMアプリケーションの健全性管理
8.1　本番環境でのトレースベース監視
8.2　トークン使用量とコストの可視化
8.3　品質メトリクスのリアルタイム追跡
8.4　アラート設定とインシデント対応
8.5　OpenTelemetryとの統合
8.6　まとめ

第9章　実践ケーススタディ
9.1　非構造文書からの情報抽出アプリケーション
9.2　社内技術文書検索システム（エージェント型RAG）
9.3　技術レポート作成マルチエージェント
9.4　まとめ

第10章　エンタープライズ環境でのMLflow活用
10.1　エンタープライズ環境におけるLLMOpsの要件
10.2　Databricksプラットフォームの概要
10.3　DatabricksにおけるMLflow実装
10.4　エンタープライズ環境での実践
10.5　まとめ

第11章　LLMOpsの未来とベストプラクティス
11.1　最後の章にあたり
11.2　LLMOpsの進化の方向性
11.3　MLflowエコシステムの拡張
11.5　今後の学習リソース
11.6　まとめ

Appendix　付録
付録A　MLflow CLIリファレンス（LLM関連）
付録B　トラブルシューティングガイド
付録C　用語集