生成AIは誰の仕事を助けるのか。顧客対応の研究から考える効果検証

イベントの問い合わせ対応に生成AIを使うとしたら、どの仕事から試すとよいのでしょうか。たとえば、開催前の案内メールです。回答文の下書きを早く作れても、担当者が日程や入場条件を調べ直す時間が増えれば、窓口全体の負担が減るとは限りません。

そこで参考にしたいのが、顧客サポート担当者へのAI支援を調べた「Generative AI at Work」という研究です。平均的な成果だけでなく、担当者によって効果が違う点に注目すると、自社で確かめることが見えてきます。

このレポートは、問い合わせ窓口やスタッフ教育を担当する方に向けたものです。研究で分かったことを確認したうえで、イベントの案内業務に合う検証方法を提案します。最初の試行では、担当者にどのような経験があるかを記録し、回答の正確さと、確認を含む作業時間を比べることを勧めます。後半の方法は編集部の提案で、現場で効果を確認した結果ではありません。

目次

顧客対応の研究では、担当者によって効果が違った

Brynjolfsson、Li、Raymondの2025年の論文は、業務用ソフトウェアを提供する1社で、文字チャットによる顧客サポートを調べた研究です。全体のデータは5,172人分。AIは返信案を担当者に示し、採用や修正は担当者が判断する仕組みでした。

主に2020年秋から2021年冬にかけての段階的な導入を分析したところ、1時間当たりの解決件数は平均約15%増えました。導入前の成績で分けた下位20%の群では36%増えた一方、上位の群では明確な増加がなく、回答の質を測る一部の指標はわずかに下がりました。ここでいう成績は、対応速度、解決率、顧客満足度による指標です。人の能力全般を評価した数字ではありません。論文の概要・第V節

主分析は全員を無作為に割り付けた実験ではなく、導入前後の変化を未導入者と比較し、経験年数などを調整したものです。また、解決件数の分析は、必要な品質データがある担当者に限られます。1社の支援ツールによる結果を、イベント運営全体にそのまま当てはめることはできません。論文の第IV・V・VIII節

この違いから私たちが考えたいのは、どの担当者が、何を確かめるときにAIを必要とするかです。経験のある人と、その仕事を初めて担当する人が同じ画面を使っても、助けられる作業は違うかもしれません。試す相手と場面を分ければ、導入後の平均値だけでは見落とす使い道を探ることができそうです。

イベントの案内では、答えを探す作業まで見る

ここからは、研究を手掛かりにした編集部の考察です。開催前の問い合わせ窓口で、アクセス、持ち物、再入場などの案内を作る場面を考えます。

たとえば、来場者から「午後だけ参加する場合も、朝の受付に行く必要がありますか」と質問が届いたとします。これは説明のための架空の例です。担当者は受付時刻の記載を見つけるだけでなく、途中参加の扱いを確認してから返信する必要があります。資料に書かれていなければ、運営責任者へ確かめる仕事が残ります。

AIが滑らかな返信文を作っても、この確認が済んだことにはなりません。一方、担当者が参照すべき箇所を見つけやすくなり、足りない情報も分かるなら、試す価値があります。検証では、文章が自然かどうかに加えて、「回答の根拠へ迷わずたどり着けたか」を確かめたいところです。

経験の区分も、自社の仕事に合わせて決めます。業界での勤務年数が長くても、その催しを初めて担当する人はいます。「イベント経験の有無」だけで分けるより、「今回と同じ案内業務を担当した経験」「対象の運営資料を読んだ経験」を記録する方が、どこでAIが助けになったかを振り返りやすくなります。

小さな試行では、20問を使って確認箇所を洗い出す

最初から来場者への返信に使わず、社内の模擬対応で確かめる案を示します。20問という数は、準備と確認の負担を見ながら始めるための例です。この件数で統計的な効果を証明できる、という基準ではありません。

運営資料を管理する担当者が、最新版の案内資料から架空の質問を作り、それぞれの正答と根拠のページを別に用意します。正答を作れない場合は、「資料だけでは答えられず、責任者への確認が必要」と記録します。持ち込み可能な物、受付場所、当日の変更連絡など、実際に試したい業務へ範囲を絞ってください。

前節の途中参加の質問も、条件が足りない場合の例になります。「受付は午前10時から」という記載から、午後の受付方法まで補ってしまわないかを確かめます。安全や救護などの判断は、この返信文作成の試行には含めません。

20問は、難しさが近くなるよう10問ずつの2組に分けます。どちらにも、資料に答えがある質問と、責任者への確認が必要な質問を入れます。案内業務の経験が異なる担当者に参加してもらい、一方の組は普段の方法で、もう一方はAIを使って模擬回答を作ってもらいます。

同じ質問を直後に解き直すと、答えを覚えた効果が混ざります。担当者ごとに質問の組と方法の組み合わせ、実施順を入れ替え、同じ質問を二度解かない形にします。資料、利用したAI、指示文、実施日も残します。

この程度の試行では、質問の難しさや担当者の違いを十分に揃えられないことがあります。それでも、誤りがどこで起きたか、資料のどこが探しにくいかを具体的に見つけることはできます。時間の差だけで導入を決めず、次の検証で直す箇所を集める用途に位置付けます。

「早く書けた」と「仕事が早く終わった」を分ける

記録する時間は、AIが文章を出し終えるまででは足りません。担当者が資料を探し、下書きを読み直し、必要な修正を終えるまでを含めます。別の人へ確認を依頼した場合は、その人の作業時間も分けて残します。表1のように記録すると、窓口の担当者が楽になった分、確認する人の負担が増えていないかを追えます。

表1　模擬対応で残す記録の例

記録する項目	記録の仕方	振り返りたいこと
回答の正確さ	事前の正答と照合し、誤った箇所・不足した条件を記す	早く回答しても、誤案内が増えていないか
担当者の作業時間	着手から送信可能な状態までの分数	資料の検索や修正も含めて負担が減ったか
確認者の作業時間	別の人が照合・修正した分数	負担が他の担当者へ移っていないか
回答を保留した理由	資料の不足、矛盾、担当外などを記す	答えられない質問を適切に引き継げたか
資料の整備時間	作成・更新・AIへの反映確認に使った時間	次の開催でも維持できる手間か

表1は編集部が作成した記録案で、論文の測定項目をそのまま再現したものではありません。

結果は、経験区分ごとに、回答数と誤りの件数を併記します。少数の試行なら、割合だけを示すより「10問中2問で入場条件を誤った」と書く方が、問題の規模を把握できます。時間は代表値だけで終わらせず、特に長くかかった質問と、その理由を残しておくと改善につながります。

また、誤案内と適切な保留を同じ「答えられなかった件数」にまとめないようにします。確認が必要な質問を責任者へ渡したのであれば、運営として求める対応を取れた可能性があるためです。

資料を更新した後も、最新の情報で案内できるか

初回の試行に加えたいのが、資料を一度更新した後の確認です。説明用の例として、受付開始が午前10時から午前10時30分に変わった場面を用意します。運営資料を更新したうえで、担当者がAIを使って案内文を作り、古い時刻を回答しないかを確かめます。

ここで古い案内が残るなら、回答文の表現を整える前に、参照資料の管理を見直す必要があります。誰が最新版を決め、誰がAIから参照できる状態へ反映し、誰が結果を確かめるのか。この役割が曖昧なままでは、使う人数を増やす判断はしにくいでしょう。

試行後は、確認した質問の範囲に限って次の作業を決めます。誤案内が残る場合は、該当する資料や処理を修正して再試験します。正確さを保てても、確認者の時間が増えた場合は、担当者同士の役割を見直します。扱える質問が分かった段階で、対象を少しずつ広げていく進め方です。

まず用意したいのは、今回の案内資料と、担当者が判断に迷いそうな質問です。その組み合わせで試せば、AIの性能だけでなく、現場で共有できていなかった情報にも気づけるかもしれません。

調査方法と補足

2026年9月27日に、著者が公開する2025年の最終掲載版を確認しました。対象と仕組みは第III・IV節、平均効果は第V.A節、担当者による違いは第V.B節、適用範囲は第VIII節と照合しています。原データから統計分析を再実行したレポートではありません。

検証案は、日本のイベント現場での効果、必要なスタッフ数、費用対効果を予測するものではありません。模擬対応に使う資料は、利用許可があり、個人情報や秘密情報を含まないものを選びます。AIサービスごとのデータ保存・学習利用条件は、採用前に確認が必要です。

参考文献：Erik Brynjolfsson, Danielle Li, Lindsey Raymond, “Generative AI at Work,” The Quarterly Journal of Economics, 140(2), 2025, pp.889–942。掲載情報・DOI／著者公開の最終掲載版PDF

制作について：本記事は、資料の調査、構成案の作成、執筆・校正に生成AIを使用しています。検証した内容と確認できていない範囲を本文に示し、当社担当者の公開承認を経て掲載しています。