古い規程を自信満々に答えるAIは、壊れていません
実践

古い規程を自信満々に答えるAIは、壊れていません

社内の規程やマニュアルをAIに読ませ、問い合わせに答えさせる。この取り組みで最初に議論されるのは、たいてい検索の精度です。しかし導入後に起きる失敗の多くは、検索ではなく文書の側で起きます。改定前の規程、持ち主のいないマニュアル、二つ存在する最新版——こうした文書をそのまま読ませると、古い答えを自信満々に返す案内係ができあがります。読ませる前に決めるべきは三つだけです。「どれが正本か」「いつ古くなるか」「誰が持ち主か」です。本稿はこの三点を、その場で使える確認手順に落とし込みます。

AIは文書の新旧を区別できません

AIが文書を根拠に答える仕組みは、単純化すれば、質問に関係しそうな箇所を読ませた文書群から探し出し、見つけた記述をもとに回答文を組み立てる、という流れです。ここに重要な前提が隠れています。AIは渡された文書を、すべて正しい情報として扱うのです。

人間なら、ファイルの日付や「旧」という文字から古さを察します。AIは「最新版_確定_2」という名前のファイルを疑いません。経理の旅費規程が改定されたのに旧版が共有フォルダに残っていれば、質問のたびにどちらかを引き当てます。古い上限額を、出典付きで丁寧に案内することさえあります。出典が示されるぶん、聞いた側はかえって疑いにくくなります。

導入の現場で繰り返し見てきたのは、AIの精度を疑う前に「そもそもどれが最新か、社内の誰も即答できない」という事実が露呈する場面です。問題はAI以前から社内に存在していました。AIはそれを目立たせただけです。

「信頼できる唯一の情報源」という工学の原則があります

情報システム設計の世界には、確立した慣行があります。シングル・ソース・オブ・トゥルース、日本語にすれば「信頼できる唯一の情報源」です。同じ事実は必ず一か所だけで管理し、ほかの場所はそこを参照するにとどめる——この構造にしておけば、直すときも一か所で済み、コピー同士の食い違いが原理的に起きません。

もともとはデータベースやシステム設計の原則であり、特定の論文に由来する理論ではありません。文書管理にそのまま全部を移植できるわけでもありません。ただし中核の洞察は、文書にもそのまま効きます。同じ事実が二か所に書かれていれば、遅かれ早かれ食い違い、コピーが増えるほど食い違いも増える——この一点です。

AIは、その食い違いを増幅する装置になります。人間は怪しい文書を無意識に避けますが、AIはフォルダにあるものを、新旧を選り好みせずに読みます。読ませる範囲で「事実は一か所」を成立させることが、検索精度の議論より先に来る理由はここにあります。

読ませる前に、三点を確認します

そこで、文書をAIに読ませる前の確認を三つの問いに絞ります。それぞれ、一言で答えられるかどうかが判定基準です。

第一に、「正本はどれか」。判定の問いは「この文書と矛盾する文書が見つかったら、どちらを直しますか」です。即答できなければ、正本は決まっていません。見積の値引き基準が営業部と管理部で別ファイルになっている、といった状態が典型です。

第二に、「賞味期限はいつか」。判定の問いは「この内容が古くなるきっかけは何ですか」です。きっかけとは、料金改定、法改正、組織変更、年度替わりなどです。きっかけを言えない文書は、古くなった瞬間に誰も気づけません。採用案内に載せた福利厚生の説明などが、この型でよく古びます。

第三に、「持ち主は誰か」。判定の問いは「この文書が間違っていたら、誰に言えば直りますか」です。部署名でなく個人名で答えられるかを見ます。名前の出ない文書は、間違いが見つかっても直りません。

三つとも即答できる文書だけを読ませます。答えられない文書は読ませるのを保留するか、期限と持ち主をその場で決めてしまいます。決める作業自体は数分で済むことがほとんどです。逆に言えば、数分で決まらないこと自体が、その文書の危うさの証拠になります。

古い答えが出たら、直すのは文書でありAIではありません

運用が始まると、遅かれ早かれ古い答えが出ます。このとき、ありがちな対応が二つあります。AIへの指示文に「旧年度版は無視すること」と注記を足すか、除外設定で穴を塞ぐかです。どちらも応急処置としては動きます。しかし、その注記や設定そのものが、また賞味期限も持ち主もない文書になっていきます。半年後には、誰も理由を説明できない注記の山が残ります。

正しい対応は一つ、旧文書を削除するか、正本への参照に差し替えることです。契約のひな形なら、旧版の支払条件が答えに出た時点で、旧版ファイルそのものを書庫へ移します。原因は常に文書の側にあり、AIは症状を映す鏡にすぎません。鏡を磨いても、病気は治りません。

見方を変えれば、古い答えは文書棚卸しの好機です。人間も同じ旧規程を根拠に間違えていたはずですが、人間は黙って間違え、AIは目立って間違えます。目立つからこそ発見でき、発見できるから直せるのです。

「全部整備してからでは、いつまでも始められない」という反論に答えます

もっともな反論があります。社内の文書は数千件ある、そのすべてに正本と期限と持ち主を付けるのは現実的でない、というものです。そのとおりです。だから、全部には付けません。

読ませる文書を絞ればよいのです。総務や経理への問い合わせを思い返せば、質問の大半は少数の定番に集中しています。その定番に答える文書だけ三点確認を通せば、初期の整備は数時間で終わります。与信の判断基準のように、変更頻度が低く参照頻度の高い文書から始めるのが定石です。整備してから読ませるのではなく、読ませる範囲だけ整備する——順序を入れ替えるだけで、着手の壁は消えます。

もう一つ、「更新日時で新しい方を自動的に選ばせればよい」という発想も出ます。しかし更新日時は「最後に触った日」であって、「内容が正しい日」ではありません。誤字を直しただけの旧版が、正本より新しい日付を持つことは普通に起きます。機械的な新旧判定は、正本を決めるという人間の仕事の代わりになりません。

これは検索改善の話でも、手本の話でもありません

隣り合う論点と区別しておきます。本サイトでは別稿で、名称のゆれをそろえる「翻訳表」を扱いました。あちらはデータ同士を突き合わせるための前提工事です。本稿は文書の鮮度と正本管理の話であり、翻訳表が完璧でも、正本が二つあれば古い答えは出ます。

また、AIに渡す見本の質の話とも異なります。見本は、良い仕事のやり方を教えるための手本です。本稿で扱う文書は、事実を答えさせるための参照資料です。手本は複数あって構わないのに対し、事実は一か所に絞らなければなりません。

まず三十分でできること

AI活用の担当者が、いなければ経営者自身が、次の三段で進めます。

最初の十分で、社内でよく聞かれる質問を十個書き出します。総務と経理への問い合わせ、営業からの「あの規程はどこか」を思い出せば足ります。次の十分で、各質問の答えが書いてある文書を一つずつ特定し、ファイル名と保管場所を一覧にします。最後の十分で、各文書に三点確認を当てます。正本かどうか、古くなるきっかけ、持ち主の個人名の三つです。答えられない欄は、無理に埋めず空欄のまま残します。

この空欄こそが成果物です。空欄の残った文書は、いまAIに読ませてはいけない文書だからです。一覧を持ち主の候補者に回し、空欄を埋める依頼を出すところまでが三十分の範囲です。

経営者の次の一手は明確です。検索ツールの比較検討をいったん止めてください。読ませる文書の一覧を作らせ、正本と期限と持ち主を決めさせてください。そして、古い答えが出たらAIではなく文書を直すという運用を、始める前に宣言してください。案内係の賢さは、渡す資料の鮮度が決めます。

(本文のシングル・ソース・オブ・トゥルース(Single Source of Truth)に関する記述は、情報システム設計で確立された慣行に基づきます。同じデータ要素を一か所だけで管理・編集し、他の場所はそれを参照する構造を指し、特定の提唱者や論文に帰属する理論ではなく、データの重複と食い違いを構造的に防ぐための工学上の設計原則として広く用いられています。)