マルチモーダルモデル入門
通常価格 3,960 円(税込)
通常価格 セール価格 3,960 円(税込)
SALE 売り切れ
ネットストア在庫 詳細
    読み込み中...
My店舗在庫

    ほかの店舗在庫を見る

    ログインするとMy店舗登録で店頭在庫と
    店舗お受け取り可否が確認できます。

    新規会員登録
    ログイン ※パスワードお忘れの方はこちら
    商品説明
    本書は、画像や音声、動画など複数の異なるデータを扱う「マルチモーダルモデル」の入門書です。
    自動運転やロボット、AIエージェントといった存在が、実世界の複雑な情報を理解して人間と円滑にコミュニケーションをとるために必要とする最先端技術を、基礎知識からその仕組みまで体系的に解説します。共通基盤となるTransformerの基礎からはじめ、視覚・音声・動画・3次元データの各モデルにふれたうえで、画像・音声・自然言語の融合モデルを解説します。
    マルチモーダルモデルを用いた研究や開発に応用できる確かな力が身につく一冊です。
    目次
    第1章 マルチモーダルモデルへの基礎
    1.1 Transformer
    1.2 Transformerの処理単位としてのトークン
    1.3 LLMが獲得した能力
    1.4 LLMの学習手法

    第2章 Vision and Language
    2.1 視覚基盤モデルと視覚言語モデル
    2.2 大規模視覚言語モデルの基礎
    2.3 LLaVA
    2.4 LVLM の性能に寄与する要素
    2.5 LVLM の視覚トークンに関する内部分析
    2.6 LVLM の評価
    2.7 LVLM のリーダーボードと自動評価フレームワーク
    2.8 V&L の課題と展望

    第3章 音データ
    3.1 音メディア処理の基礎
    3.2 ニューラルオーディオコーデック
    3.3 音声の基盤モデル
    3.4 音楽の基盤モデル
    3.5 可聴音一般の基盤モデル
    3.6 音と言語の基盤モデル
    3.7 音メディア処理全体の課題と展望

    第4章 動画データ
    4.1 動画データとは
    4.2 動画理解のタスク
    4.3 動画基盤モデル
    4.4 代表的な動画基盤モデル
    4.5 動画基盤モデルの学習
    4.6 データセットと評価
    4.7 動画基盤モデルのテクニック
    4.8 動画基盤モデルの課題と展望

    第5章 3次元データ
    5.1 3次元データとは
    5.2 LLM/VLM 以前のマルチモーダル手法
    5.3 3D データと LLM の統合技術
    5.4 VLM との融合
    5.5 3D データの課題と展望

    第6章 オムニモーダルモデル
    6.1 複数モダリティ対応の基本
    6.2 NExT-GPTの学習
    6.3 オムニモーダルモデルの評価
    6.4 オムニモーダルモデルの課題と展望
    詳細を表示する

    カスタマーレビュー

    honto本の通販ストアのレビュー(0件)

    並び順:
    1/1ページ

    最近チェックした商品

    丸善ジュンク堂書店 公式YouTubeチャンネル

    【今できる!】人間関係の悩みを消す!一瞬で好かれる魔法の言い換えフレーズ|『知らない間に嫌われる言葉、話すたびに好かれる言葉』著者つみきち

    動画に関連する商品より

    【5万部突破】無意識に嫌われてない?人を激怒させる「悪気のない一言」とは?|『知らない間に嫌われる言葉、話すたびに好かれる言葉』著者つみきち

    動画に関連する商品より

    真夜中の本屋で語る田辺青蛙の「大阪怪談」|ミッドナイトジュンクラブ

    動画に関連する商品より
    御堂筋線怪談
    御堂筋線怪談