百件の良い見本は、十万件のログに勝つ
実践

百件の良い見本は、十万件のログに勝つ

「うちはデータが整っていないから、AIはまだ早い」。経営の現場で最もよく聞く、導入見送りの理由です。しかしこの前提は、生成AIの時代にはほぼ成立しません。いま成果を分けるのは、蓄積された生データの量ではなく、整えられた少数の見本の質です。百件の良い例は、十万件の雑多なログに勝つ場面が少なくありません。データが少ない会社はAIに不向きなのではなく、むしろ「選び抜いた手本」で戦う準備が早く整う側にいます。本稿では、良い見本を見分ける三つの条件と、まず十件から見本集を育てる手順を示します。

データの量は、もう入場券ではありません

機械学習の世界的な第一人者であるアンドリュー・エン氏は、2021年から「データセントリックAI」という考え方を提唱しています。AIの精度を上げたいなら、モデルと呼ばれる計算の仕組みをいじり続けるより、モデルに与えるデータの質を系統立てて高めるほうが効く、という主張です。氏は2022年の技術誌のインタビューでも、本当に良い例が五十件あれば価値ある欠陥検査の仕組みを作れる場合があると語り、巨大なデータを前提にしないAIの道筋を示しました。

ただし、この主張の射程には注意が要ります。エン氏の議論は、自社でAIモデルを訓練する製造業の画像検査などが中心でした。生成AIを「使う」側の会社には関係がない、と思われるかもしれません。実際は逆です。訓練という工程が不要になったいま、会社がAIに渡せるものは、事実上「手本」だけになりました。少数の良質なデータが大量の雑多なデータに勝つという原理は、生成AIの利用場面でこそ純粋な形で現れます。

生成AIに見せるのは、データではなく手本です

生成AIは、世の中の一般知識をすでに学び終えています。御社の仕事を任せるときに足りないのは知識ではなく、「御社にとって何が良い出力か」という判断基準です。それを伝える最短の方法が、良い実例をそのまま見せることです。過去の良い見積書を三件添えて頼んだ下書きと、何も見せずに頼んだ下書きとでは、仕上がりがまるで違います。問い合わせ対応でも、顧客が納得して終わった回答例を添えるかどうかで、文面の的確さは大きく変わります。経理の仕訳のような、判断の積み重ねでできた業務でも同じです。与信の判断メモや採用の評価コメントのように、書き手の目線そのものが価値になる文書ほど、手本の効果は大きくなります。

なお、名称の表記ゆれを揃える「翻訳表」については別稿で扱いました。あちらはデータ同士を突き合わせるための土台の話です。本稿はその一歩先、AIに見せる手本そのものの質と選び方の話です。土台と教材の違い、と言い換えてもよいでしょう。また、AIへの指示文(プロンプト)を会社の文書としてどう管理するかも別稿で論じました。指示文が「渡し方」の話だとすれば、本稿の手本は「渡す中身」の話です。

良い見本には、三つの条件があります

すべての実例が手本になるわけではありません。導入の現場で繰り返し見てきたのは、「とりあえず過去のファイルを全部渡す」やり方が、かえって出力を濁らせる光景です。手本に採る一件は、次の三つの条件と判定の質問で見分けてください。

第一の条件は、結果が良かったことです。判定の質問は「この例の、その後を知っていますか」。受注につながった見積か、再質問なく解決した回答かどうかです。結果を追えていない例は、まだ手本ではなく、ただの過去の記録にすぎません。

第二の条件は、理由を言えることです。質問は「新人に渡すとき、どこを見ろと言いますか」。良さを一言で指させない例は、AIにも良さが伝わりません。逆に理由を言えるなら、その一言を注記として添えるだけで立派な教材になります。

第三の条件は、例外でないことです。質問は「同じ状況が、来月も来ますか」。大口顧客への特別対応や、たまたま通った強気の価格は、名作であっても手本には不向きです。AIは例外を「いつものやり方」として真似てしまいます。

見本集は、まず十件から育てます

三つの条件を頭に置いたら、次は集め方です。まず、対象の業務を一つに絞ります。出力が文書の形をとり、件数がそれなりにある業務が向いています。見積、仕訳、問い合わせ回答が典型でしょう。次に、その業務で一番の目利きに、過去一年から候補を十件挙げてもらいます。続いて、一件ごとに三行の注記を付けてください。何が良いか、どんな前提の案件か、真似るときの注意点は何か、の三行です。そのうえで、この十件を添えて生成AIに同種の仕事を頼み、出力を目利きが採点します。最後に、ずれた出力の原因になった例を入れ替えます。

大事なのは、集め終わってから始めるのではなく、始めながら育てることです。十件で試し、入れ替えながら二十件、三十件へと増やしていきます。見本集は在庫ではなく、手入れを続ける道具です。

見せ方は難しく考えなくて構いません。依頼文に例を貼り付けても、参照ファイルとして添付しても、社内の定型プロンプトに組み込んでも構いません。どの方法でも効果は出ます。ただし一点だけ注意があります。実例には顧客名や取引価格が含まれがちです。見本を社外のAIツールに貼る際は、別稿で扱った「入れてよい情報」の区分に従ってください。成否を分けるのは、渡す例が三つの条件を満たしているかどうかであって、渡す技術の巧拙ではありません。

やってはいけない集め方があります

最も多い失敗は、全部入れることです。ここで「例は百件より一万件のほうが賢くなるのではないか」という疑問が湧くはずです。モデルを自前で訓練していた時代の直感としては自然ですが、いま生成AIに足しているのは知識ではなく判断基準です。良い例と凡庸な例が混ざれば、基準そのものが薄まります。雑多な十万件は、百件の輝きを消してしまうのです。

次に多いのは、直近の案件だけを集めることです。直近は思い出しやすいだけで、良い例とは限りません。第一の条件である「その後」がまだ分からないものも多く含まれます。見落とされがちなのは、自薦に頼る危うさです。声の大きい担当者の自信作が、結果の良い例とは限りません。三つの質問で機械的に絞るからこそ、見本集は個人の趣味ではなく、会社の基準になります。

「選ぶのは結局、人の主観だ」という反論に答えます

もっともな指摘です。誰かが選ぶ以上、見本集はその人の価値観を帯びます。しかしこれは隠すべき欠点ではなく、管理すべき仕様です。対処として、まず選んだ理由を必ず注記として言語化します。落とした例にも「なぜ手本にしないか」を一行残してください。そして四半期に一度、受注率や再問い合わせの有無といった結果と突き合わせて入れ替えます。この過程には大きな副産物もあります。これまで熟練者の頭の中にしかなかった判断基準が、初めて文書の形になることです。見本集づくりはAIの準備であると同時に、仕事の基準の棚卸しでもあります。付け加えるなら、主観を恐れて選定を先送りするほうが、よほど大きな偏りを生みます。何も選ばなければ、AIは世間一般の平均的な文書を手本にして書き続けるからです。

月曜の三十分で、最初の三件を選んでください

百件も十件も、最初の一歩は同じです。三十分を三つに割ってください。最初の十分は、経営者かAI推進の担当者が業務を一つ指名します。基準は、出力が文書で、月に十件以上発生し、良し悪しを言える人が社内にいることです。次の十分で、その業務の一番の目利きに「過去一年でいちばんうまくいった三件」を挙げてもらいます。三つの質問を添えて選んでもらえば、それで足ります。最後の十分で、三件それぞれに「何が良いか」を一行ずつ書き、共有フォルダに「見本集」という名前で置きます。

これで最初の教材が三件そろいました。次の依頼から、生成AIにこの三件を添えて仕事を頼んでみてください。データ基盤の整備が終わる日を待つ必要はありません。大量のデータを集める計画を立てる前に、最良の百件へ向かう最初の三件を、今週のうちに選び切ってください。

(出典注:アンドリュー・エン(Andrew Ng)氏はスタンフォード大学非常勤教授で、機械学習の研究・教育と産業応用の第一人者です。2021年以降、モデルの改良よりデータの質を系統立てて高める「データセントリックAI」を提唱し、同年には固定したモデルのままデータの質だけを競う競技会も主催しました。2022年2月の技術誌IEEEスペクトラムのインタビュー「Unbiggen AI」では、良質な例が五十件あれば価値ある検査の仕組みを作れる場合があると述べ、少数で良質なデータの価値を強調しています。)