はじめに
生成AIを業務で使い始めた人が、最初につまずきやすいのが「ハルシネーション」です。存在しない情報や間違った数字を、まるで事実であるかのように自信満々に答えてしまう現象ですが、なぜこんなことが起きるのでしょうか。生成AIとは何か｜「予測変換の化け物」という例えで理解するで解説した生成AIの仕組みを踏まえると、その理由がよく見えてきます。
生成AIは「知らない」とは言わず「それらしく予測」する
前回の記事で触れたとおり、生成AIは文章を「理解」しているのではなく、「次に来る単語としてもっとも自然なもの」を予測し続けています。この仕組みの弱点が、ハルシネーションの正体です。
生成AIには、人間のように「これは知っている」「これは知らない」をはっきり区別する仕組みがありません。学習データにほとんど含まれていない情報についても、「それらしい単語の並び」を予測することはできてしまいます。その結果、事実に基づかない内容でも、文章としては自然で説得力のある形で出力されてしまうのです。
「わかりません」と言えない新人、という例え
これは、入社したばかりで「わかりません」と言いづらい新人スタッフに似ています。上司から質問されたときに、本当は自信がなくても、その場の空気を読んで「たぶんこうだと思います」ともっともらしく答えてしまう——生成AIが起こすハルシネーションも、構造としてはこれに近いものがあります。
違うのは、生成AIには「空気を読む」という意識すらなく、仕組みとして「とにかく自然な文章を生成する」ことに最適化されている点です。悪気があるわけではなく、そういう設計になっている、ということを理解しておく必要があります。
ハルシネーションが起きやすい場面
実務でとくに注意が必要なのは、以下のような場面です。
- 固有名詞や数値（日付・金額・法令番号など）を聞かれたとき
- マイナーな情報や、学習データの時点以降の最新情報を聞かれたとき
- 「はい」か「いいえ」で答えにくい、グレーな質問をされたとき
こうした場面では、生成AIの回答をそのまま資料や顧客対応に使うのではなく、一度立ち止まって確認するクセをつけることが重要です。
実務での対策
ハルシネーションを完全にゼロにすることは、現時点の生成AIの仕組み上できません。そのため、「起きるもの」という前提での運用がポイントになります。
- 数字や固有名詞が含まれる回答は、必ず一次情報（原典）で裏取りする
- 「この情報の根拠・出典は？」と追加で質問し、具体的な出典を示せるか確認する
- 社内の正確な情報を参照させたい場合は、RAG（後日の記事で解説予定）のような仕組みを活用する
まとめ
ハルシネーションは、生成AIが「知らない」と言わずに「それらしい文章」を予測し続けてしまう仕組み上の特性です。生成AIの出す答えは「自信満々な新人の仮説」程度の重みで受け止め、重要な情報は必ず人間が裏取りする運用を徹底することが、実務で安全に活用するための前提になります。
執筆者プロフィール：SIer（元請け）とITコンサルファーム（発注側支援）、両方の立場でプロジェクトに従事（通算9年）。要件定義からベンダーマネジメントまで一貫して対応し、基幹システム刷新・DX推進プロジェクトに多数従事。
コメント