概要
ハルシネーションとは、LLMが「もっともらしいが事実ではない情報」を自信を持って出力する現象。
「嘘をつく」という表現は直感的だが、正確ではない。LLMに「嘘をつく意図」はない。
正確には「確率的にもっともらしいトークン列を生成した結果、事実と乖離した」という現象。
なぜ起きるのか(メカニズム)
LLMの生成は「次のトークンの確率予測」の繰り返し。
入力 → [Transformer] → 次のトークン確率分布 → サンプリング → 出力
↑
ここに「事実かどうか」を判定する機構はない
主な原因
| 原因 | 説明 |
|---|---|
| 訓練データのノイズ | Web上の誤情報・矛盾した記述をそのまま学習している |
| 知識の補完 | 正確な情報がない箇所を「それっぽいパターン」で埋める |
| 過学習・汎化の限界 | 稀な事実はパラメータに十分記憶されていない |
| コンテキスト圧力 | 質問の文脈に引きずられ、それに合う答えを生成してしまう |
| Tokenization の影響 | 固有名詞・数値・コードなど、細かい正確性が必要な箇所に弱い |
ハルシネーションの分類
実運用上は「どういう種類の嘘か」を把握しておくと対策が立てやすい。
1. 事実の捏造(Factual Hallucination)
- 存在しない論文・URL・人物・APIを生成する
- 例:
GET /v2/metricsと言ったが実際にはそのエンドポイントは存在しない
2. 自信過剰(Overconfidence)
- 不確かな情報を断定的に述べる
- 例:「このバグは2023年のv3.2.1で修正されています」→ 実際は未修正
3. 文脈ドリフト(Context Drift)
- 長い会話の中で前の情報を誤って引き継ぐ、または忘れる
- 例:「さっき言ったAのサーバー名は〜」と誤った名前を使い続ける
4. 推論エラー(Reasoning Hallucination)
- 計算・論理ステップを誤る。特に多段推論で発生しやすい
- 例:Prometheusのクエリ式を生成させたら、演算子の優先順位を誤る
SRE視点での影響と監視ポイント
LLMをシステムに組み込む場合、ハルシネーションはサイレント障害になりうる。
影響の重大度マトリクス
| ユースケース | ハルシネーションの危険度 | 理由 |
|---|---|---|
| チャットbot(FAQ応答) | 中 | 誤情報提供だが即時被害は小さい |
| コード生成(CI/CDに組み込む) | 高 | 誤ったコードが本番に流れる |
| 障害対応アシスト | 高 | 誤った手順を実行してしまう |
| ログ解析・サマリー | 中〜高 | 見逃しや誤判断につながる |
| ドキュメント生成 | 低〜中 | レビューが入れば被害は限定的 |
監視・検出のアプローチ
LLM出力
│
├─ [1] スキーマバリデーション → 構造的に異常な出力を弾く
├─ [2] グラウンディングチェック → RAGのソース文書との一致率検証
├─ [3] 不確実性スコア → モデルのlogprob低下を検出
├─ [4] Self-consistency → 同じ質問を複数回投げて結果を比較
└─ [5] 人間レビューループ → 高リスクアクションは必ず承認ステップを挟む
対策パターン
RAG(Retrieval-Augmented Generation)
- モデルの記憶に頼らず、外部ドキュメントを都度参照させる
- ソースを引用させることで検証可能にする
- ハルシネーション率を下げる効果が最も実証されている手法
プロンプト設計
- 「知らない場合は『わかりません』と答えてください」と明示する
- 回答の根拠・ソースを必ず添えるよう指示する
- Chain-of-Thought(CoT)で推論ステップを明示させると事実エラーを減らせる
出力の構造化
- JSON等の構造化フォーマットで出力させ、スキーマ検証を通す
- フリーテキストより検証しやすくなる
フォールバック設計
- 信頼スコアが低い出力はユーザーに提示しない、または「要確認」フラグを立てる
- 高リスクアクション(コード実行・設定変更等)の前には必ず人間の承認を挟む
まとめ
| 観点 | 要点 |
|---|---|
| 何が起きているか | 事実判定のないトークン生成の結果、もっともらしい誤情報が出力される |
| SREとして何が怖いか | サイレント障害・誤った手順実行・コード品質低下 |
| 主な対策 | RAG・プロンプト設計・出力バリデーション・人間レビューループ |
| 監視すべきポイント | スキーマ逸脱・ソース非一致・logprobの低下・複数回応答の不一致 |
一言で言うと: LLMはもっともらしいことを言うが、正しいことを言うとは限らない。
SREとしては「LLMの出力を信頼しない前提でシステム設計する」が基本姿勢。
参考リンク
- Anthropic: Research(研究記事一覧。記事ごとのリンクは一覧から辿る)
- RAG論文: Lewis et al., 2020 “Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks”
- Self-Consistency論文: Wang et al., 2022