LLMとハルシネーション

はたしてなぜ生成AIは嘘をつくのか？
ハルシネーションの原理とその対策を一からわかりやすく解説

生成AIを利用する際に最も厄介な問題となるのがハルシネーション（hallucination）です。ハルシネーションは幻覚とも呼ばれる現象で、一見もっともらしいのに、まったく正しくない文章が生成されることをいいます。これによって、実際にはありもしない発言や事実が大量につくり出され、SNSなどで拡散されて私たちの社会や認識を大きくゆがめてしまっています。これからの情報系エンジニアにとって、ハルシネーションの対策に必要な知見やスキルは非常に重要です。
本書では、ハルシネーションに挑むための土台となるべき自然言語処理や機械学習の基礎的な知識や、「言語の正しさ」に関する基本的な知見から解説しています。そして、現時点で考えうる現実的な対策法について解説しています。また、本分野で著名な数理モデルについて、その当初の目的や経緯をできるだけわかりやすく解説しています。
AI関連の技術は日進月歩で進歩していますが、エンジニアにとって重要なことは流行に乗り遅れないことより、少しずつ自分の引き出しを増やしていくことであると考えられます。この観点から、本書では「スタンダードな手法への手っとり早い入門」という以上の価値を提供できるように心がけています。