{"product_id":"9784798190723","title":"LLMアプリケーション評価駆動開発 継続的に改善し運用していくための実践知","description":"\u003cp\u003e「正解」がわからない出力を、どう評価するのか？\u003cbr\u003eLLMアプリ特有の評価の基本から、継続的改善の運用方法まで徹底解説！\u003c\/p\u003e\u003cp\u003eLLMアプリケーションを価値あるものにするためには、評価が欠かせません。\u003cbr\u003e評価をすることではじめて、LLMアプリケーションの現在地を把握し、改善すべき方向性を見極めることができます。\u003c\/p\u003e\u003cp\u003eしかし、LLMアプリケーションの評価は、\u003cbr\u003e・出力が確率的かつ自由度が高いため単純に正答率を評価することができない\u003cbr\u003e・なにをもって良い出力とするかの軸が定めにくい\u003cbr\u003eといったことから、「どう評価すればいいのか分からない」という課題にぶつかることが多くあるのではないでしょうか。\u003c\/p\u003e\u003cp\u003e本書は、そういった課題を解決すべく、評価の種類、どういった評価指標を作っていくかはもちろん、近年注目されているLLM-as-a-Judgeを使った実際の評価、リリース後の評価・改善といった、基本から実務で使える知識まで解説します。\u003c\/p\u003e\u003cp\u003e■本書の特徴\u003cbr\u003e・評価の基本を網羅的に解説：評価の全体像から評価軸の考え方まで丁寧に解説していきます\u003cbr\u003e・幅広い評価のアプローチの解説：最新の評価手法であるLLM-as-a-Judgeなども取り上げ、幅広い評価のアプローチを習得することで、あらゆる場面で最適な評価手法を選択・活用できる力を身につけられます\u003cbr\u003e・実践力を身につけられる：実際にLangSmithを使ってLLMアプリケーションを評価し、運用・改善していく方法を紹介します。プロンプトのバージョンを管理し、LLMアプリケーションのモニタリングやトレースを行うことで、継続的にアプリケーションを改善するコツをしることができ、実践力を身につけられます\u003c\/p\u003e\u003cp\u003e■こんな方におすすめ\u003cbr\u003e・これからLLMを活用したアプリケーション開発をしようとしている方\u003cbr\u003e・LLMを用いたサービスのリリースを検討しているが、評価に不安を感じている方\u003cbr\u003e・すでにLLMを活用したアプリケーションを開発・運用しており、継続的に改善していきたいと考えている方\u003c\/p\u003e\u003cp\u003e【目次】\u003cbr\u003e第1章 なぜLLM アプリケーションを評価する必要があるの\u003c\/p\u003e\u003cp\u003e第2章 LLMアプリケーション評価設計の全体像\u003c\/p\u003e\u003cp\u003e第3章 LLMアプリケーション評価の実行プロセスと運用設計\u003c\/p\u003e\u003cp\u003e第4章 評価指標の設定の考え方\u003c\/p\u003e\u003cp\u003e第5章 LLM-as-a-Judge\u003c\/p\u003e\u003cp\u003e第6章 LLMOpsによる継続的な改善\u003c\/p\u003e\u003cp\u003e第7章 テーマ設定とサンプルアプリケーションの準備\u003c\/p\u003e\u003cp\u003e第8章 評価の初期設計とデータセットの作成\u003c\/p\u003e\u003cp\u003e第9章 リリース前の評価とチューニング\u003c\/p\u003e\u003cp\u003e第10章 リリース後の評価と継続的な改善\u003c\/p\u003e\u003cp\u003e付録 LLMそのものの評価\u003c\/p\u003e","brand":"翔泳社","offers":[{"title":"Default Title","offer_id":67397958107440,"sku":null,"price":3960.0,"currency_code":"JPY","in_stock":true}],"url":"https:\/\/www.maruzenjunkudo.co.jp\/products\/9784798190723","provider":"丸善ジュンク堂書店ネットストア","version":"1.0","type":"link"}