LLMのファインチューニングとRAG

公開LLMでファインチューニングとRAGを学ぼう！

この本は、公開されている大規模言語モデル（LLM：Large Language Model）を使った独自のチャットボットを構築することを目標に、LLM のファインチューニングと RAG (Retrieval Augmented Generation) の基礎とそのプログラミングについて学ぶものです。

ChatGPT の台頭により、高性能なチャットボットへの期待が急速に高まっています。しかしそのチャットボットの核となる LLM は基本的に言語モデルであるために、幻覚（誤った情報）を生成します。とくにローカルな情報や最新の情報は持っていないために、それらに関する質問に対して、正しい回答は期待できません。また ChatGPT のように LLM が外部のサーバにある場合、自社データを LLM に投げることには抵抗があると思います。

本書では、そういった課題を解決するために、公開 LLM をファインチューニングしたり、公開 LLM を使った RAG を構築することでよりニーズに沿ったチャットボットを構築します。その結果、構築したチャットボットは、自身が関わる分野について深く正確に回答してくれるようになります。