つくりながら学ぶ！画像生成AI 自作入門

画像生成AI DALL-EやMidjourneyなどの画像生成はどのようにして動くのか？　拡散モデル（DM）およびVision Transformer（ViT）をPyTorchでコード実装、AI開発に不可欠なテクニックをステップアップで習得します。文章から画像を生成できる独自のAIモデルをゼロから構築しよう！

・文章から高解像度画像を生成するモデルを構築
・プロンプトに基づいて画像を編集
・画像分類を行うVision Transformer（ViT）を構築
・分類、テキスト生成、画像生成に合わせてLLMを微調整
・本物の画像とディープフェイクをより正確に判定する

文章から画像が生成される仕組みをハンズオン形式で解説。章を追うごとにTransformer ベースの画像生成モデル「ミニDALL-E」を、自分の手で一から構築します。ディープフェイク検出ではResNet50のファインチューニングにより、9 割を超える精度で実物と偽物を分類、その有効性を具体的に示します。画像生成AIの仕組みをブラックボックスのままにせず、実装を学びたい人におすすめの一冊です。
Manning『Build a Text-to-Image Generator (from Scratch)』の翻訳書。

Part 1　注意機構（Attention）とTransformerを理解する
第1章　2つのモデルの物語：Transformerと拡散
第2章　Transformerを構築する
第3章　Vision Transformerで画像を分類する
第4章　画像にキャプションを追加する

Part 2　拡散モデル入門
第５章　拡散モデルによる画像生成
第６章　拡散モデルで生成する画像を制御する
第７章　拡散モデルによる高解像度画像の生成

Part 3 拡散モデルを用いたテキスト画像生成
第8章　CLIP：画像とテキストの類似度を測定するモデル
第9章　潜在拡散を用いたテキストから画像の生成
第10章　Stable Diffusion の徹底解説

Part 4　Transformerを用いたテキストから画像の生成
第11章　VQGAN：画像を整数のシーケンスに変換する
第12章　DALL-Eの最小限の実装

Part 5新たな展開と課題
第13章　テキストから画像への変換における新たな展開と課題
付録PyTorch をインストールして、ローカルおよび Colab で GPU トレーニングを有効にする