【判定表付き】生成AIのハルシネーション対策｜仕事での確かめ方

生成AIのハルシネーション対策は、間違いを出させない工夫より、間違いが混ざっても外に出ない確かめ方を決めておくことです。ハルシネーションとは、生成AIが事実と違うことを、もっともらしい言い方で答えてしまう現象のことです。この記事では、仕事で使うときの確認の判定表、間違いの見つけ方と直し方、使う前のチェックリストを紹介します。読み終えたときに、自社のどの仕事で、誰が、何を見比べるのかを決められる状態を目指します。

生成AIのハルシネーションとは、もっともらしい間違いのこと

ハルシネーションは、AIが「知らない」と言わずに、それらしい答えを作ってしまうことで起きます。生成AIとは、文章や画像などを、人の指示に応じて作り出すAIのことです。

（1）起きやすい間違いの種類

間違いは、数字、固有名詞、出典、日付の4か所に混ざりやすい性質があります。文章の流れが自然なので、読んだ人は間違いに気づきにくくなります。

種類	起きること	仕事での例
数字	存在しない数字や、計算違いの数字が入る	見積書の合計、売上の前年比
固有名詞	実在しない会社名・人名・製品名が入る	取引先の紹介文、競合の比較
出典	存在しない資料や条文を挙げる	調査資料の要約、社内の根拠づけ
日付・制度	古い情報や、別の制度の説明が混ざる	手続きの案内、社内ルールの説明

（2）なぜ間違いが混ざるのか

生成AIは、事実を検索して答えるのではなく、もっともらしい文章の続きを作る仕組みだからです。そのため、知らないことでも、知っているかのように答えてしまうことがあります。どのサービスでどの程度起きるかは、ツールや設定、頼む内容で変わります。仕様は各社の公式の説明で確認し、「起きない」とは考えないほうが安全です。

（3）仕事で困るのは、間違いそのものより「確認なしで外に出ること」

生成AIが間違うこと自体は、使う前に見つけられれば、仕事の損失にはなりません。困るのは、見つけないまま、お客様や取引先に届いてしまうときです。人が書いた文書でも間違いは混ざります。対策の考え方は、AIの答えを「自分の担当者が書いた下書き」として扱い、出す前に確かめる流れを仕事に入れることです。

対策の基本は、AIを疑うことではなく、確かめる手順を決めること

ハルシネーション対策の基本は、全部を疑う姿勢ではなく、確認の深さを仕事ごとに決めることです。全部を同じ深さで確認すると、時間がかかって、使われなくなります。

（1）確認の深さは「外に出るか」と「間違えたときの影響」で決める

確認の深さは、答えがどこまで届くかと、間違えたときに何が起きるかの2つで決まります。社内のメモなら、間違っていても、すぐ直せます。お客様に出す見積書や契約に関わる文書は、間違いが後から取り消せません。

（2）確認する人は、AIに頼んだ本人とは別にする場面を決めておく

影響の大きい文書は、頼んだ本人だけで確認しません。自分で頼んだものは、自分の期待に沿って読んでしまうためです。全部の文書に第三者を付ける必要はありません。金額や契約に関わる文書だけ、もう一人が読む決まりにします。

（3）「AIにAIの答えを確認させる」は補助にとどめる

同じAIや別のAIに「この答えは正しいですか」と聞いても、確認の代わりにはなりません。聞いたAIも、もっともらしく答えるためです。一方で、「根拠にした部分を引用してください」「前提を3つ挙げてください」と頼むと、人が見比べる場所が見つけやすくなります。最後に見比べるのは、元の資料や公的な情報を見られる人です。

【判定表】仕事ごとに、確認の深さを決める

判定表の目的は、仕事ごとに確認の深さを先に決めて、毎回迷わないようにすることです。次の表の「届く範囲」と「間違えたときの影響」で、自社の仕事を当てはめます。

（1）確認の深さを決める判定表

判定は、影響が大きいほど深く、届く範囲が広いほど深くします。

届く範囲	間違えたときの影響	確認の深さ	仕事の例
自分だけ	小さい。すぐ直せる	流し読み。気になる数字だけ見る	考えの整理、アイデア出し
社内の複数人	小さい〜中。誤解が広がる	数字・固有名詞・日付を元の資料と見比べる	議事録の整理、社内向けの連絡文
社外（お客様・取引先）	中。信用に関わる	全項目を元の資料と見比べ、担当者が読む	提案書、お知らせ文、見積の説明
契約・金額・法令に関わる	大きい。取り消せない	元の資料と全項目を照合し、もう一人が確認する。必要なら専門家に確認する	契約書の案、請求書、制度の説明

（2）判定表の使い方

判定表は、仕事ごとに1回だけ決めて、社内で共有します。次の手順で、10分ほどで作れます。

1. AIに頼んでいる仕事を、5つ書き出す
2. 各仕事の「届く範囲」と「間違えたときの影響」を表に当てはめる
3. 確認の深さと、確認する人の名前を書く
4. 見直す時期を決める（例: 3か月後）

（3）迷ったときは、深いほうに寄せる

迷う仕事は、1段深い確認にしておきます。最初に深くしておき、間違いが出なかった実績が貯まってから、浅くするほうが安全です。逆に、最初から浅くすると、間違いが出てから深くすることになります。

間違いを見つける確かめ方｜5つの見比べ方

確かめ方の基本は、AIの答えを、元の資料と見比べることです。読んで「納得できる」かどうかは、確認になりません。

（1）数字は、計算し直して、元の資料と見比べる

数字は、AIが出した合計や割合を、自分の手で計算し直します。元の資料の数字と、桁と単位が合っているかも見ます。表計算ソフトに数字を移して、足し算と掛け算を確かめるだけでも、見つかる間違いがあります。

（2）固有名詞と日付は、公式の情報で調べる

会社名、人名、製品名、日付は、公式のサイトや原本で調べ直します。AIの答えにある固有名詞を、そのまま検索できるかを確認する方法が、いちばん手軽です。見つからないものは、実在しないものとして扱います。

（3）出典は、自分で開いて、書いてある場所まで確かめる

AIが挙げた出典は、リンクや資料を自分で開いて、書かれていることまで確かめます。資料の名前が実在しても、中身が違うことがあるからです。開けない出典は、使いません。

（4）制度や法令は、所管の公式の情報で確かめる

制度や法令の説明は、AIの答えを根拠にしません。官公庁や各制度の公式のページで、最新の内容を確認します。判断が必要な場面は、専門家に相談するのが確実です。この記事でも、特定の制度の内容は説明しません。

（5）「根拠」と「確からしさ」を聞いて、見比べる場所を絞る

AIに根拠を答えさせると、人が見比べる場所を狭められます。例えば、次のように頼みます。

上の答えのうち、元の資料に書かれていることと、あなたの推測を分けてください。
推測の部分は「推測」と付けてください。

分けられた「推測」の部分が、人が優先して確かめる場所です。ただし、AIが「元の資料に書かれている」と言った部分も、見比べる手順は省きません。

間違いを減らす頼み方｜元の資料を渡して、範囲を絞る

頼み方を変えると、間違いは減らせますが、なくすことはできません。頼み方の工夫は、確認の手順の代わりではなく、確認の負担を軽くするために使います。

（1）元の資料を渡して、「その資料の範囲で答えて」と頼む

資料を渡して、範囲を限ると、AIが推測で埋める場面を減らせます。次の頼み方のひな形が使えます。

以下の資料だけを根拠にして、〈やりたいこと〉をしてください。
資料に書かれていないことは「資料に記載なし」と書いてください。
〈ここに資料を貼る〉

（2）AIに任せる範囲を、小さく切る

「全文を作って」より、「見出しの案だけ」「この表を整理するだけ」のほうが、確認が楽です。範囲が小さいと、見比べる場所も小さくなります。元の資料があり、答えの正解が決まっている仕事ほど、確認の手順も作りやすくなります。

（3）「分からないときは分からないと答えて」と添える

答えられないことは、答えないように頼んでおきます。「分からない場合は、推測せず、分からないと書いてください」と添えるだけでも、作り話を減らせることがあります。この効果は、使うサービスや頼む内容で変わります。実際の仕事で、一度試して確かめましょう。

（4）頼み方より、頼む仕事を選ぶほうが効く

ハルシネーションの影響を小さくする、いちばん確実な方法は、頼む仕事を選ぶことです。件数が多く、正解が決まっていて、間違えたことがその場で分かる仕事は、確認の手順が組みやすい仕事です。逆に、答えが1つに決まらず、間違いが後から見つかる仕事は、慎重に扱います。

職種別に、どこを見るか｜確認の場所の早見表

確認の場所は、職種ごとに、間違いが混ざりやすい書類が決まっています。次の早見表は、判定表を職種に当てはめるための、仮の例です。

（1）職種ごとの確認ポイント

職種ごとに「元の資料」を決めておくと、見比べる作業が迷わなくなります。

職種	AIに頼みがちな仕事	混ざりやすい間違い	見比べる元の資料
営業	提案書・お礼メールの下書き	取引先名、商談の日付、金額	商談メモ、見積書
経理	請求書や入金の整理、説明文	金額、計算、取引先名	請求書の原本、契約書
総務・人事	社内規程の案内、手続きの案内文	制度の内容、日付、手続きの順番	社内規程の原本、公式の案内
広報・採用	募集文、記事の下書き	実績の数字、出典、固有名詞	社内の記録、公式の発表

（2）元の資料が決まっていない仕事は、先に資料を決める

見比べる元の資料が決まっていない仕事は、AIの前に、資料を決める仕事が必要です。「何と見比べるか」が決まらない場合、その仕事は確認できません。そのときは、判定表で一段深い確認にするか、AIに任せる範囲を小さくします。

確認の手間を減らした例｜確認する行を絞る

確認をなくすのではなく、確認する場所を絞ると、仕事は軽くなります。自社の案件で、請求書と契約内容の照合を扱った例があります。

（1）人が目で確かめる行を、全体から絞り込んだ

広告代理店（3支店規模）の請求書照合では、人が目視で確認しなければならない行の割合を、関西で88%から17%まで下げました。関西支店では、625行のうち、人が確認する行が106行になりました。もともとは、関西支店だけで約560行を、手作業で月2日かけて確認していた業務です。

同じ案件では、契約が終了しているのに請求書に載っているケースを、実データから4件見つけました。この数字は、請求書と契約内容の照合という、正解が決まっている仕事での結果です。文章を生成する仕事の正答率や、時間の削減率を示すものではありません。

（2）この例から持ち帰れる考え方

確認の負担は、全部を見る負担から、見るべき行だけを見る負担へ変えられます。正解が決まる仕事は、機械が判定できる部分と、人が見るべき部分に分けやすい仕事です。自社の仕事で、同じ分け方ができるものがないかを、判定表を見ながら探しましょう。

【チェックリスト】AIの答えを使う前の確認項目

使う前のチェックリストの目的は、確認の抜けを、仕事ごとに同じ手順で防ぐことです。AIに頼んだ仕事を1つ選び、答えを使う前に、上から順に確認しましょう。

（1）頼むときの確認

頼むときは、資料と範囲と確認する人を、先に決めます。

• 元の資料を、手元に用意したか
• 「資料の範囲で答えて」と頼んだか
• 分からないときは分からないと答えるよう、添えたか
• この仕事の確認の深さを、判定表で決めたか
• 最後に確認する人は、誰か

（2）答えが返ってきたときの確認

返ってきた答えは、読む前に、確認する場所に印を付けます。

• 数字に印を付け、計算し直したか
• 会社名・人名・製品名・日付に印を付け、調べたか
• 出典は、自分で開いて、書いてある場所まで確かめたか
• 制度や法令は、公式の情報で最新の内容を確認したか
• 「推測」と答えられた部分を、優先して確かめたか

（3）使う前・出す前の確認

出す前に、確認した人と日付を、記録に残します。

• 判定表で決めた深さの確認を、終えたか
• もう一人が読む決まりの文書は、読んでもらったか
• 自分の言葉に直し、お客様に出せる文になっているか
• 間違いが見つかったときは、どこが間違っていたかを書き留めたか

（4）間違いが見つかったときの直し方

間違いが見つかったら、直して終わりにせず、同じ種類の間違いがないかを見ます。

1. 間違った箇所を、元の資料で確かめる
2. AIに「この部分が元の資料と違います」と示し、直させる。直った答えも、もう一度見比べる
3. 同じ種類（数字、固有名詞、出典、日付）の箇所を、全部見直す
4. 見つかった間違いを、判定表の見直しに使う

よくある質問

（1）ハルシネーションは、完全になくせますか？

完全になくすことはできないと考えて、確かめる手順を決めておくのが現実的です。頼み方の工夫や、元の資料を渡す方法で減らせますが、ゼロにはなりません。使うサービスの仕様は、各社の公式の説明で確認してください。

（2）AIの答えを、別のAIに確認させれば足りますか？

補助にはなりますが、確認の代わりにはなりません。別のAIも、もっともらしく答えるためです。根拠や前提を挙げさせて、人が見比べる場所を絞る使い方がおすすめです。

（3）全部の答えを確認すると、手間が減りません。どうすればよいですか？

確認の深さを、仕事ごとの判定表で変えます。自分だけが読むメモは浅く、お客様に出す文書や金額は深く確認します。確認する場所を絞る方法は、元の資料を渡して範囲を限る頼み方と合わせると、さらに負担を減らせます。

（4）社内で、確認のルールを決めるには、何から始めればよいですか？

まず、AIを使っている仕事を5つ書き出し、判定表に当てはめます。そのあと、確認する人と、見直す時期を決めます。ルールは細かく作り込まず、1枚の表から始めて、間違いが見つかるたびに直します。

次にやること

まず、AIに頼んでいる仕事を1つ選び、判定表に当てはめて、確認の深さを決めてください。

（1）自分の仕事を、1つ判定表に当てはめる

今週のうちに、1つの仕事で、確認の深さと確認する人を決めます。

1. AIに頼んでいる仕事を、1つ選ぶ
2. 「届く範囲」と「間違えたときの影響」を、判定表に当てはめる
3. 決まった確認の深さで、次に使うときに確かめる

（2）社内の仕事に広げるときは、確認の担当と手順を一緒に決める

個人の確かめ方を、社内の仕事に広げるときは、確認する人と手順を先に決めます。もちもつの無料相談では、今どの業務でAIが使われているかを伺い、確認の深さと担当を決める進め方を一緒に考えます。ツールや契約が決まっていなくても、今の使い方の整理から始められます。

もちもつでは、業務の選定から現場で使われ続けるところまでを伴走する中小企業のAI導入支援を行っています。