生成AIを導入して数か月経つと、必ず「で、効果は出ているのか」と聞かれます。そこで出てくるのが利用率やアカウント数です。しかしそれは「使われているか」の答えであって、「業務がどう変わったか」の答えではありません。この記事では、業務成果として何を、何と比べ、どの条件で継続判断するかを整理します。

対象は、AI導入の責任者、業務部門長、企画・DX担当の方です。万能のROI式、業界平均、効果の保証、製品比較、法的適合性の断定は扱いません。統計の専門知識も前提としません。導入するかどうかの判断軸は業種横断・AI業務補助の経営判断軸で扱っています。本稿は導入後、続けるかどうかを測る側に絞ります。

生成AI導入の効果測定サイクルを5段階で示した図。第1段階「目的とbaseline」＝対象業務、期待する変化、守る条件を決め、導入前の基準値を記録する。第2段階「小規模試行」＝対象・難易度・担当・期間・除外条件を揃えて試す。第3段階「4面で測定」＝効率、品質、リスク、コストの4つの面から測る。この4分類は本記事の編集上の整理である。第4段階「継続・補正・停止」＝試行前に決めた条件に照らして判定する。第5段階「運用後の監視」＝運用に入った後も定期的に測り、改善と低下の両方を記録する。第5段階から第1段階へ戻る循環になっており、測定は一度きりではない。
図：効果測定の5段階 — 基準値を取り、4面で測り、続ける・直す・止めるを先に決めておく

1. 利用率だけでは効果を判断できない

利用率は「導入した仕組みが現場に届いているか」を示します。届いていなければ成果も出ないので、診断指標としては有用です。低い利用率は、教育不足、対象業務の選定ミス、使いにくさなど、原因の切り分けに使えます。

問題は、利用率を成果の代用にしてしまうことです。次のずれが起こります。

  • 使っているが成果が出ていない：下書きは速くなったが、確認と手戻りが増えて総時間は変わっていない
  • 使っていないが成果が出ている：一部の定型業務だけで劇的に短縮し、全社利用率は低いまま
  • 使うこと自体が目的化する：利用回数が評価指標になると、不要な場面でも使われる

利用率は成果指標と分離して並べます。「利用率は無意味だ」ではありません。使われていないときに何を疑うかを教えてくれる指標であり、成果そのものではない、という位置づけです。

2. 対象業務・期待する変化・守る条件を先に固定する

測る前に、何を測るかを文章で書き出します。3つだけです。

項目書くこと
対象業務「社内向け説明資料の図解制作」のように、成果物と工程が特定できる粒度まで絞る
期待する変化「1件あたりの制作時間を短くする」「差し戻し回数を減らす」など、方向と対象を明示する
守る条件短縮と引き換えに落としてはいけないもの。正確性、機密の扱い、確認者の承認など

「守る条件」を先に書くのが要点です。書いていないと、速くなったが品質が落ちた状態を「効果が出た」と読んでしまいます。

3. 導入前のbaselineを取る

効果は比較でしか語れません。比較の相手が導入前の状態、すなわち baseline です。NIST の AI RMF は、MEASURE 機能の説明で 「AI systems should be tested before their deployment and regularly while in operation.」（AIシステムは配備前に、そして運用中も定期的に試験されるべきである）と述べています。配備前と運用中を分けて考える枠組みです。

baseline として記録する項目は、対象業務によりますが、最低限これだけあれば比較が始められます。

  • 件数：一定期間に何件処理したか
  • 所要時間：1件あたりの着手から完了まで。待ち時間を含むかどうかを決めておく
  • 差し戻し・修正：確認工程で戻った回数と、その理由の分類
  • 担当：誰がやっていたか。熟練度の違いは結果に効く

baselineは「完璧な計測」でなくてよい

1か月分の実績を手作業で数えるだけでも比較の土台になります。精密さより、導入後と同じ定義で測れることが重要です。定義が変わると、数字が動いた理由が分からなくなります。

4. 効率・品質・リスク・コストの4面で指標を置く

ひとつの数字で導入効果を表そうとすると、見落としが生じます。本稿では効率・品質・リスク・コストの4面で点検することを提案します。

この4分類は本記事の編集上の整理です

NIST や GAO がこの4分類を定めているわけではありません。参照した公的枠組みは、測定手法の多様性や運用後の監視といった原則を示すもので、指標の分類そのものを規定してはいません。自社に合う面が他にあれば足してください。

面測る例注意
効率1件あたり所要時間、月間処理件数、着手までの待ち時間作業時間だけ見ると確認工数の増加を見落とす
品質差し戻し率、公開後の修正件数、確認者の指摘件数「指摘が減った」は品質向上とは限らない。確認が甘くなった可能性も見る
リスク機密情報の入力事故、出典の誤り、公開停止に至った件数件数が0でも「起きていない」と「見つけていない」は違う
コスト利用料、教育時間、確認工数の人件費換算ツール料金だけでは足りない。運用にかかる人の時間を入れる

測り方は数値だけとは限りません。NIST の AI RMF は MEASURE 機能の説明で、「quantitative, qualitative, or mixed-method tools, techniques, and methodologies」（定量的、定性的、またはその混合の手法）を用いると述べています。担当者への聞き取りや、差し戻し理由の分類といった定性的な情報も、測定の一部として扱ってよいということです。

参照した枠組みの性格

NIST の AI RMF と Playbook は自主的な枠組みであり、適合認証やチェックリストではありません。Playbook 自身も「The Playbook is neither a checklist nor set of steps to be followed in its entirety.」（本 Playbook はチェックリストでも、全体を順に踏むべき手順でもない）と述べています。本稿でも「NIST 準拠」といった表現は用いません。

5. 比較条件を揃える

効果測定でつまずきやすいのは、比較になっていない比較です。導入前は難しい案件を熟練者が担当し、導入後は簡単な案件を新人が担当していれば、数字が動いても理由は分かりません。

揃えるのは次の5点です。

  • 対象：同じ種類の成果物か
  • 難易度：分量、複雑さ、前例の有無
  • 担当：熟練度が近い人か。違うなら分けて集計する
  • 期間：繁忙期と閑散期を跨いでいないか
  • 除外条件：中断した案件、仕様が途中で変わった案件をどう扱うか

これは因果関係を証明する手続きではありません。比較の混線を減らす実務策です。厳密な因果推論には対照群や無作為化が要りますが、多くの業務ではそこまで組めません。組めない前提で、説明できる比較にするのが目的です。

NIST の AI RMF は Measure 2.3 で、性能や保証の基準は 「demonstrated for conditions similar to deployment setting(s)」（配備環境に類似した条件で実証される）と述べています。本番と同一環境を無条件に要求するのではなく、どの条件で測ったかを記録しておくと読むのが実務的です。

6. 小規模試行の評価票

ここまでと、次節以降で決める判定条件・監視をあわせて1枚にすると、そのまま試行の評価票になります。

欄記入内容（架空の記入例）
対象業務社内向け説明資料の図解制作
期待する変化1件あたりの制作時間を短くする
守る条件本文と図の内容が一致していること。確認者の承認を経ること
baseline直近3か月・24件・1件あたり平均◯時間（式：総時間 ÷ 件数、期間：4〜6月）
効率の指標1件あたり制作時間（同じ式・同じ期間長で比較）
品質の指標確認者からの差し戻し件数 ÷ 制作件数
リスクの指標機密情報の入力事故件数、出典誤りの指摘件数
コストの指標利用料 ＋ 確認工数の人件費換算
試行期間8週間
除外途中で仕様変更した案件、外注案件
判定条件継続・補正・停止の分岐（次節で決める。試行開始前に記入する）
運用後の監視測り続ける項目と頻度、定義を変えた日の記録欄

上表の数値は架空の記入例です

実績値でも業界平均でも推奨値でもありません。「◯時間」「◯％短縮」といった具体値は組織と業務で大きく変わります。本稿は普遍的な削減率を示しません。式・分母・期間を自社の値で埋めてください。

7. 継続・補正・停止の条件を試行前に決める

数字が出てから判断基準を考えると、出た数字に合わせて基準が動きます。試行を始める前に3つの分岐を書いておきます。

  • 継続：期待した面が改善し、守る条件が維持されている
  • 補正：一部の面だけ改善、または改善したが守る条件が揺らいでいる。対象業務か工程を変えて再試行する
  • 停止：改善が見られない、または守る条件を維持できない。機密事故や公開停止が発生した場合は即時

閾値の数字は組織ごとに違います。「差し戻し率が◯％を超えたら停止」のような普遍的な値は本稿では置きません。自社の現状値から、許容できる範囲を決めてください。

あわせて止める権限を持つ人を決めます。基準だけあって権限がないと、期待外れの結果が出ても「もう少し様子を見よう」で続いてしまいます。

8. 運用に入った後の監視

試行を通過して本運用に入っても、測定は終わりません。対象業務の内容、担当者、ツールの仕様はいずれも変わります。

NIST の AI RMF は Measure 4.3 で、関係者との協議や現場データにもとづいて 「Measurable performance improvements or declines」（測定可能な性能の改善または低下）を識別し文書化する、と述べています。改善だけでなく低下も記録対象である点が実務上の要点です。良くなった話だけが残る運用では、劣化に気づけません。

米国 GAO が公表している 『Artificial Intelligence: An Accountability Framework for Federal Agencies and Other Entities』（GAO-21-519SP、2021年6月30日）も、AIシステムの設計から継続的な監視までを対象とした枠組みです。連邦機関等を対象とした公的部門向けの文書であり、民間企業へそのまま適用される規範ではありませんが、目的に照らした性能評価と、時間経過に伴う監視という考え方は業種を問わず参照できます。

監視の頻度は、例えば四半期ごとなど、業務のリズムに合わせて決めます。重要なのは頻度そのものより、同じ定義で測り続けることです。定義を変える必要が出たときは、変えた日と変更内容を記録し、前後の数値を直接比較しないようにします。

9. 共通例：社内向け図解制作で測る

関連する2記事とつながる例として、社内向け図解の制作を挙げます。

この例の数値は挙げません。測る項目は共通化できても、値は自社で取るしかないためです。

まとめ

効果測定は、導入の是非を後から採点する作業ではありません。何を良くしたいのかを先に決め、比較できる形で記録し、継続・補正・停止の条件を持っておく設計です。この設計があると、期待どおりにならなかったときに「何が違ったか」を切り分けられます。

まず1業務を選び、baseline の4項目（件数・所要時間・差し戻し・担当）を1か月分だけ数えてみてください。それが揃えば、指標・比較条件・判定条件を具体的に決められる状態になります。

引用元・参考文献

公的機関・一次情報

※ 効率・品質・リスク・コストという4面の整理、baseline の記録項目、比較条件の5点、継続・補正・停止の3分岐は、本記事による編集上の整理です。NIST や GAO がこれらの分類・手順を規定しているものではありません。NIST の AI RMF および Playbook は自主的な枠組みであり、チェックリストや適合認証ではないため、「NIST 準拠」といった表現は用いていません。GAO の文書は連邦機関等を対象とした公的部門向けの枠組みです。掲載資料は改定されるため、参照時は最新版をご確認ください。