AIの答えが正しいか不安なとき、多くの人が最初にすることは、その答えをもう一度読み返すことです。二度、三度と目を通し、筋が通っているか、違和感がないかを確かめます。しかしこの方法は、ほとんど機能しません。もっともらしい文章は、読み込むほど正しく見えてくるからです。確かめる材料は答えの中ではなく、外にあります。固有名詞や数値を抜き出し、別の情報源と突き合わせます。プロのファクトチェッカーが使う「横読み」を、AIの出力確認に応用することが本稿の提案です。
流暢な文章は、読み返すほど正しく見えます
AIの出力の厄介さは、誤りの含まれ方にあります。人間の書いた文書なら、誤りにはたいてい兆候が伴います。誤字が増える、論理が飛ぶ、日本語が乱れる。読み手はこうした表面の乱れを手がかりに、「この文書は怪しい」と察知してきました。
AIはこの手がかりを消しました。正しい部分と間違っている部分が、同じ文体、同じ自信、同じ滑らかさで書かれます。数字が一桁違っていても、実在しない判例が引かれていても、文章の表面はまったく乱れません。流暢さと正確さは、別の性質だからです。
だから精読は効きません。読み返して得られるのは「筋が通っている」という感触だけで、その感触は正確さの証拠にならないのです。むしろ読み込むほど文章に馴染み、疑いは薄れていきます。確認したつもりで、実際には納得を深めているだけという状態です。
以前、AIの誤りには人間向けのダブルチェックが効かないことを論じ、組織としての検品体制の設計を扱いました。本稿はその個人技術版に当たります。体制を整える話ではなく、一人ひとりが今日から手元で使える確かめ方の話です。
プロのファクトチェッカーは、文書の中を読み込みません
では、確かめることを職業にしている人は、どう読んでいるのでしょうか。スタンフォード大学のサム・ワインバーグとサラ・マクグルーは2017年、プロのファクトチェッカー10名、歴史学の博士10名、大学生25名に、ウェブ上の情報の信頼性を評価させる調査を行いました。
歴史学者と学生の多くは、ページの中に留まりました。文章を精読し、デザインの体裁や参考文献の有無を吟味して判断したのです。一方ファクトチェッカーは、ページの中身をほとんど読まないうちに、いったんそのページを離れました。別のタブを開き、発信元が何者かを外部の情報源で調べたのです。結果は明快でした。速く、正確だったのはファクトチェッカーです。研究者たちはこの読み方を、ページの中を深く読む垂直の読みに対して「横読み（lateral reading）」と名付けました。
この研究が示したのは、文書の信頼性はその文書の内部からは判定できない、という原理です。判定の材料は外にあります。どれだけ丁寧に中を読んでも、外に出ない限り確かめたことにはなりません。
一つ注意があります。この研究が対象にしたのはウェブ上の情報の検証であり、AIの出力ではありません。ただし「もっともらしい文書の正しさは、精読では確かめられない」という構造は共通しています。横読みをAIの確認に当てはめることは、研究の直接の結論ではなく、本稿の提案です。
AIの答えには「横読みの四手」を当てます
横読みをAIの出力向けに具体化すると、四つの手になります。
一の手は、固有名詞・数値・日付の抜き出しです。 答えの全文を検証する必要はありません。法令名、判例、統計の数値、社名、年月日。間違っていたら実害の出る要素だけを抜き出し、検索や原典で裏を取ります。経理なら勘定科目と税率、見積なら単価と数量の根拠、採用なら法定の労働条件、契約なら条文番号と期限。業務が違っても、抜き出す対象の型は同じです。自社で当てる問いは「この答えの中で、外れたら困る名詞と数字はどれか」です。
二の手は、出典を出させて原典に当たることです。 AIに「この答えの根拠となる出典を挙げてください」と求め、挙がった出典を実際に開きます。AIは出典そのものを捏造することがあるため、開いて中身を確かめるまでが一手です。問いは「その出典は実在し、本当にそう書いてあるか」です。
三の手は、別のAIへの同じ質問です。 二つの答えが一致しても正しさの証明にはなりませんが、食い違いは「ここを調べよ」という地図になります。問いは「二つの答えが食い違うのはどこか」です。
四の手は、逆質問です。 同じAIに「この答えが間違っているとしたら、どこが弱いですか」と尋ねます。自分の答えへの反対尋問をさせるわけです。問いは「AI自身が挙げた弱点のうち、放置できないものはどれか」です。
四手に共通するのは、答えの外に出るという動きです。かかる時間はそれぞれ数分で、精読を何度も繰り返すより短く済みます。
「全部確認していたら時短にならない」は、そのとおりです
当然の反論があります。すべての出力にこの四手をかけていたら、AIで浮いた時間が確認で消えてしまう、というものです。この反論は正しく、だからこそ確認には濃淡を付けます。
基準は文書の行き先です。顧客への提案書、契約に関わる文面、社外に公表する資料など、外に出る文書には横読みを必須にします。最低でも一の手と二の手は通します。逆に、社内の下書きやアイデア出し、自分だけが読むメモは、軽い確認か省略で構いません。誤りが出ても訂正の費用が小さいからです。
もう一つ、原典に当たるときは日付も見てください。出典が実在していても、内容が古くなっていることがあります。古い正しさの問題は別稿で扱いましたが、横読みの二の手はこの点検を兼ねられます。
導入の現場で繰り返し見てきたのは、確認ゼロのまま社外に出す人と、不安のあまり全件を精読する人への二極化です。どちらも長くは続きません。濃淡の基準を先に決めておくことが、確認を習慣として続ける現実的な方法です。
まず三十分でできること
直近一週間にAIを使って作った文書のうち、社外に出したものを一つ選んでください。作業は起案した本人が行います。経営者自身がAIで文書を作っているなら、自分の一通で試すのが最も早い方法です。
最初の十分で、その文書から固有名詞・数値・日付をすべて抜き出し、印を付けます。次の十五分で、印を付けた要素を一つずつ、検索や原典との突き合わせで確認します。最後の五分で、結果を記録してください。誤りが一つでも見つかれば、横読みの費用対効果はその場で体感できます。全部正しければ、それはそれで安心材料になります。
次にAIの答えを受け取ったら、二度目の通読をやめてください。代わりに、固有名詞を三つ抜き出して検索窓に入れます。確認のルールを「読んで違和感がないか」から「外で裏が取れたか」へ書き換えます。そして「社外に出る文書には横読みを必須にする」と、今週のうちに決めてしまうことです。
（出典注：本稿の「横読み（lateral reading）」は、スタンフォード大学のサム・ワインバーグ（Sam Wineburg）とサラ・マクグルー（Sarah McGrew）が2017年に公表したワーキングペーパー「Lateral Reading: Reading Less and Learning More When Evaluating Digital Information」（のちに2019年、学術誌Teachers College Recordに掲載）に基づきます。プロのファクトチェッカー、歴史学の博士、大学生にウェブ情報の信頼性を評価させたところ、ページ内を精読した歴史学者や学生より、ページを離れて別の情報源で確かめたファクトチェッカーのほうが速く正確でした。原典はウェブ情報の検証を扱った研究であり、AIの出力確認への適用は本稿による提案です。）