「新人の仕事ほど念入りに見る」「疲れの出る月末は注意する」「大事な書類はダブルチェックを通す」。どれも、人間のミスを前提に磨かれてきた確認の仕組みです。そしてこの仕組みは、AIの誤りをほとんど捕まえられません。人間のミスには疲労やうっかりという原因があり、兆候が表に出ます。AIは疲れない代わりに、もっともらしく、堂々と、系統的に間違えます。「様子がおかしいから見る」という検品が成立しないのです。必要なのは確認の量を増やすことではなく、誤りの型に合わせて確認を作り直すことです。
人間のミスには兆候があり、AIの誤りには兆候がありません
職場の確認の仕組みは、長い時間をかけて人間のミスに合わせて作られてきました。人間が間違えるのは、疲れているとき、急いでいるとき、慣れで手が滑ったときです。そして間違いの前後には、たいてい兆候が出ます。作業が遅くなる、字が乱れる、確認の口数が減る、といった変化です。何より本人に自覚があり、「ここは自信がないので見てください」と言えます。だからこそ「新人の仕事ほど確認する」「繁忙期は検算を増やす」「様子がおかしい人には声をかける」という検品文化が機能してきました。
AIの誤りは、この型に当てはまりません。AIは疲れを知らず、月曜の朝でも金曜の深夜でも、千件目の処理でも、疲労で品質が揺れることはありません。その代わり、自信の見た目と正しさが連動しないのです。間違えるときも文章は流暢で、口調は堂々としています。存在しない条文番号、一桁だけ違う金額、それらしい要約に紛れた一つの取り違え、といった形で現れます。読みやすさは完璧なまま、中身だけが違います。
もう一つの違いは系統性です。人間のうっかりは散発的に、ばらばらの場所で起きます。AIは同じ指示と同じ資料に対して、同じ向きに間違え続けます。百件処理させれば、同じ型の誤りが百件複製されることもあり得ます。
以前、AIの失敗は苦手な仕事ではなく「そこそこできる仕事」で起きる、と論じました。あれは誤りがどの仕事で起きるかの話です。本稿はその続きとして、起きた誤りをどう捕まえるか、つまり確認の設計を扱います。
人は自動化の出力を前にすると、確認を省く方向へ流れます
確認の作り直しが必要な理由は、AIの側だけでなく人間の側にもあります。人間工学の分野には「自動化バイアス」と呼ばれる確立した知見があります。パラスラマンとライリーは1997年、学術誌ヒューマン・ファクターズの総説「Humans and Automation: Use, Misuse, Disuse, Abuse」で、人が自動化を過信して監視を怠る「誤用」の構造を整理しました。スキトカやモージャーらの一連の実験では、人は自動化の出力を、自分で調べて考えることの代わりに使ってしまう傾向が示されています。自動化が知らせなければ異常を見逃し、自動化が誤った提案をすれば、目の前の矛盾する情報よりも提案のほうに従ってしまうのです。
これらの研究は航空や監視業務の課題を中心としたもので、個々の数値をそのまますべての職場に当てはめることはできません。それでも「出力がもっともらしいほど、人は確認を省く」という方向性は、繰り返し確認されてきました。
含意は明確です。「AIの出力は各自しっかり確認すること」という注意喚起は、この人間の性質に真っ向から逆らう精神論であり、ほぼ確実に負けます。導入の現場で繰り返し見てきたのは、「確認しました」と言う担当者が、実際には文章の読みやすさだけを見て、数字と根拠を見ていない場面です。確認は意思の問題ではなく、設計の問題として扱う必要があります。
確認は出来映えではなく、根拠と危険箇所に当てます
では、どう設計し直すか。私は「誤り型検品」と呼ぶ三つの手を勧めています。
第一の手は、出来映えでなく根拠を確認することです。文章が読みやすいか、それらしいかは見ません。結論の元になった箇所を指させます。契約のレビューなら該当条項の原文、経理の仕訳なら元の請求書、与信の判断なら引用した決算数値の出どころを示させます。自社に当てる問いは「その結論の元を、原文で指させているか」です。
第二の手は、危険箇所を先に決めることです。全体を眺めて違和感を探すのではなく、間違えたら一番高くつく項目をあらかじめ三つ決め、毎回そこだけを見ます。見積なら単価と数量と納期、採用書類の要約なら在籍期間と資格、契約なら金額と解約条項、というように業務ごとに固定します。ここで添える問いは「この業務で、誤りが一番高くつく三箇所はどこか」になります。
第三の手は、照合できる形式で出させることです。感想文の形で出てきた出力は、確認のしようがありません。金額は転記元と並べた表で、判断には理由欄を付けて、抜き出しは原文の位置が分かる形で出させます。「この出力は、正解や原本と機械的に突き合わせられる形か」と問うてください。
三つの手には共通の運用ルールがあります。誤りを一件見つけたら、同じ型の誤りを全件疑うことです。人間のうっかりなら一件直して終わりですが、AIの誤りは系統的に複製されています。一件の発見は一件の話ではなく、型の発見として扱います。
「そこまで確認するなら自分でやる」は、確認を古い設計のままにした結論です
当然の反論があります。出力を毎回確認するのなら時間は浮かない、それなら最初から自分でやるほうが早い、というものです。
この感覚は、確認を人間用の設計のまま、つまり「全体を通読して違和感を探す」やり方のままで見積もったときに生まれます。通読は重いうえに、流暢な文章の前では機能しません。三つの手はいずれも、確認の範囲を危険箇所と根拠に絞り、突き合わせを機械的にするためのものです。人間の仕事の検品も、実際には全数の目視ではなく急所の抜き取りで回ってきました。捨てるべきは兆候で選ぶやり方であり、急所に絞るやり方はそのまま引き継げます。AIに対しても、同じことをすればよいのです。
なお、どこまでの誤りなら許容するかという許容量の決め方、誤りの責任を誰が持つかという割当、任せた仕事の腕が衰える問題への手当ては、それぞれ別稿に譲ります。本稿が扱ったのは、それらの手前にある「誤りをどう捕まえるか」の設計です。
まず三十分で、自社の危険箇所リストを作ります
明日できる第一歩は単純です。AIに任せている、または任せようとしている業務を一つ選び、その業務の責任者が三十分だけ使って、紙一枚を作ります。書くことは三つだけです。間違えたら一番高くつく項目を三つ書きます。それぞれについて、根拠を何で示させるかを決めます。そして、何と突き合わせて確認するかを決めます。
翌日からは、その三箇所だけを毎回確認します。全部を読む必要はありません。誤りが一件でも出たら、過去の出力から同じ型を探します。この一枚があるだけで、確認は「各自の心がけ」から「業務の設計」に変わります。
AIの検品は、強化するものではありません。当て直すものです。人間の兆候を探してきた目を、AIの根拠と危険箇所に向け変えてください。それが、疲れずに堂々と間違える相手との、正しい付き合い方です。
（出典注：本稿の「自動化バイアス」は、R. パラスラマンとV. ライリーが1997年に学術誌Human Factorsに発表した総説「Humans and Automation: Use, Misuse, Disuse, Abuse」における、自動化への過信が監視の失敗を招くという「誤用」の整理と、L. スキトカ、K. モージャーらによる一連の実験研究（人は自動化の出力を、自らの情報収集と判断の代わりにしてしまう傾向を持つ）に基づいています。いずれも航空・監視課題を中心とした研究であり、個々の数値をそのまま一般の業務に適用できるわけではありませんが、人が自動化の出力への確認を省きがちであるという傾向は、分野を超えて繰り返し報告されています。）