概要

ハルシネーションとは、LLMが「もっともらしいが事実ではない情報」を自信を持って出力する現象。

「嘘をつく」という表現は直感的だが、正確ではない。LLMに「嘘をつく意図」はない。
正確には「確率的にもっともらしいトークン列を生成した結果、事実と乖離した」という現象。


なぜ起きるのか(メカニズム)

LLMの生成は「次のトークンの確率予測」の繰り返し。

入力 → [Transformer] → 次のトークン確率分布 → サンプリング → 出力
                              ↑
              ここに「事実かどうか」を判定する機構はない

主な原因

原因説明
訓練データのノイズWeb上の誤情報・矛盾した記述をそのまま学習している
知識の補完正確な情報がない箇所を「それっぽいパターン」で埋める
過学習・汎化の限界稀な事実はパラメータに十分記憶されていない
コンテキスト圧力質問の文脈に引きずられ、それに合う答えを生成してしまう
Tokenization の影響固有名詞・数値・コードなど、細かい正確性が必要な箇所に弱い

ハルシネーションの分類

実運用上は「どういう種類の嘘か」を把握しておくと対策が立てやすい。

1. 事実の捏造(Factual Hallucination)

  • 存在しない論文・URL・人物・APIを生成する
  • 例:GET /v2/metrics と言ったが実際にはそのエンドポイントは存在しない

2. 自信過剰(Overconfidence)

  • 不確かな情報を断定的に述べる
  • 例:「このバグは2023年のv3.2.1で修正されています」→ 実際は未修正

3. 文脈ドリフト(Context Drift)

  • 長い会話の中で前の情報を誤って引き継ぐ、または忘れる
  • 例:「さっき言ったAのサーバー名は〜」と誤った名前を使い続ける

4. 推論エラー(Reasoning Hallucination)

  • 計算・論理ステップを誤る。特に多段推論で発生しやすい
  • 例:Prometheusのクエリ式を生成させたら、演算子の優先順位を誤る

SRE視点での影響と監視ポイント

LLMをシステムに組み込む場合、ハルシネーションはサイレント障害になりうる。

影響の重大度マトリクス

ユースケースハルシネーションの危険度理由
チャットbot(FAQ応答)中誤情報提供だが即時被害は小さい
コード生成(CI/CDに組み込む)高誤ったコードが本番に流れる
障害対応アシスト高誤った手順を実行してしまう
ログ解析・サマリー中〜高見逃しや誤判断につながる
ドキュメント生成低〜中レビューが入れば被害は限定的

監視・検出のアプローチ

LLM出力
   │
   ├─ [1] スキーマバリデーション   → 構造的に異常な出力を弾く
   ├─ [2] グラウンディングチェック → RAGのソース文書との一致率検証
   ├─ [3] 不確実性スコア           → モデルのlogprob低下を検出
   ├─ [4] Self-consistency         → 同じ質問を複数回投げて結果を比較
   └─ [5] 人間レビューループ       → 高リスクアクションは必ず承認ステップを挟む

対策パターン

RAG(Retrieval-Augmented Generation)

  • モデルの記憶に頼らず、外部ドキュメントを都度参照させる
  • ソースを引用させることで検証可能にする
  • ハルシネーション率を下げる効果が最も実証されている手法

プロンプト設計

  • 「知らない場合は『わかりません』と答えてください」と明示する
  • 回答の根拠・ソースを必ず添えるよう指示する
  • Chain-of-Thought(CoT)で推論ステップを明示させると事実エラーを減らせる

出力の構造化

  • JSON等の構造化フォーマットで出力させ、スキーマ検証を通す
  • フリーテキストより検証しやすくなる

フォールバック設計

  • 信頼スコアが低い出力はユーザーに提示しない、または「要確認」フラグを立てる
  • 高リスクアクション(コード実行・設定変更等)の前には必ず人間の承認を挟む

まとめ

観点要点
何が起きているか事実判定のないトークン生成の結果、もっともらしい誤情報が出力される
SREとして何が怖いかサイレント障害・誤った手順実行・コード品質低下
主な対策RAG・プロンプト設計・出力バリデーション・人間レビューループ
監視すべきポイントスキーマ逸脱・ソース非一致・logprobの低下・複数回応答の不一致

一言で言うと: LLMはもっともらしいことを言うが、正しいことを言うとは限らない。
SREとしては「LLMの出力を信頼しない前提でシステム設計する」が基本姿勢。


参考リンク

関連項目