導入事例デモ・体験会セミナー・お知らせ資料CSに関するご相談コラムカスタマーサポートDXマガジン-カスタマーサポートをEmpowermentするメディアホームセミナーレポート生成AIと定型文で実践!カスタマーサポートの新メール対応術と最新事例2023年9月29日SHAREツイートシェアはてブLINEツイートシェアはてブLINE朝、出勤をしメールをチェックすると数々の未読メールが...そんなとき、AIが自動的に返信ドラフトを作成し、送信の承認だけを待っている状態や、回答の精度が十分に高い場合には自動で応答が完了している状態だと、とても楽だと思いませんか?実は、生成AIの登場により、このようなシナリオは現実のものとなりつつあります。本記事では、これを実現するために必要な要素と、AIを活用したメール対応の近未来や最新事例について詳しく解説します。(この記事は2023年9月20日に開催されたセミナーの内容に補足・編集を加えたものです。assistを利用)ーまとめ生成AIにメールの自動作成を行わせる方法とは?まずはじめに、生成AIにメールの自動作成を行わせるには『Fine-Tune型(勉強&記憶型)』と『RAG型(教科書持ち込み型)』の2つの方法が存在します。Fine-Tune型(勉強&記憶型)RAG型(教科書持ち込み型)過去のデータを前もって学習。覚えた知識でメールの生成を行う。マニュアルや過去のデータを参照。その内容を見ながらメールの生成を行う。Fine-Tune型とRAG型について、上のイラストに沿ってテストを受ける生徒で例えてみます。Fine-Tune型は、テスト前にしっかりと勉強をして、テスト範囲を頭に入れてきた生徒だと考えてください。テストの日になったら、自分が学んだ知識を用いて問題を解きます。数学のテストであれば、事前に学んだ公式を使って計算を解いていきます。この生徒(Fine-Tune型)は、積み重ねて学んできたことを当てはめて使うことが得意です。テストに出てきた問題が学んだことと全く異なると、答えるのが難しくなるかもしれません。次に、RAG型は、教科書の持ち込みが可能なテストを思い浮かべて下さい。テストの日になったら、元々覚えている知識だけでなく、教科書を見て情報を探し出し問題を解くことができます。歴史のテストであれば、「応仁の乱は何年にありましたか?」という問題が出た際、教科書から答えを探して問題を解きます。この生徒(RAG型)は、調べればすぐに分かることや新しい問題に対応するのが得意です。教科書を上手く使うためには、どの情報がどこにあるかを理解している必要があります。それぞれに得意としている領域が存在するので、目的に最適な方法を選ぶことが大切です。Fine-tune型で行われた研究(カスタマーサポートのオペレーター支援にGPTを活用した研究)生成AIにメールの自動作成を行わせる方法としては、元々Fine-Tune型が主流でした。2023年4月に、5,179人のカスタマーサポートに生成AIベースのアシスタントを導入して1時間あたりの問題解決数(問い合わせ等を捌けた件数)を調べた大規模な研究の論文が発表されています。この論文で具体的にはどのような結果が得られたのか見ていきましょう。経験が浅い、スキルの低い方のサポートで効果が出やすく、ベテランは効果が出にくいAIは暗黙知を広め、新人のオンボーディングに特に効果的であることが示されたAIは顧客の満足度の向上、マネージャーの負荷の軽減、定着率の増加などをもたらすことが示された結果、平均14%問題解決数が増えた研究の中で構築されたシステム利用データは300万件程度の会話のログ。それには解決したかどうか、かかった時間、トップオペレーターかどうかのフラグの情報が付与されている。AIは以下の二つのことを行う問い合わせに対して回答内容を予測する関連ナレッジを提示するまた、予測の精度の高い会話パターンと低い会話パターンをあらかじめ調べておき、精度の低い会話パターンでは提示を行わない結果、平均14%の生産性向上に至ったFine-tune型の生成AIのカスタマーサポートへの導入は、問い合わせ解決率や生産性を平均14%向上させるという成果をもたらしました。新人やスキルの低いスタッフの支援に有効であり、顧客満足度の向上やマネージャーの負荷軽減にも寄与するという利点があります。動的な分類(コール理由のタグ付けなど)や形式(口調)の変換といった特定のタスクには効果的ということが確認できました。課題点もいくつか見つかっています。Fine-tune型の課題ChatGPTは一般的な知識であれば答える事が可能だが、そのようなAIは追加で学習させるとうまく回答が帰ってこないことが多い学習させるには様々なテクニックが必要データ量も膨大に必要(数十万~)Input-outputの形式のデータ(質問と回答のような形式)にする必要があるマニュアル形式のようなものを記憶させるのはそのままでは難しい膨大なコストがかかる(精度次第で、数百万円~百億円)Fine-tune型の導入と運用は容易なものではなく、様々なテクニックや大量のデータ、そしてそれに伴う膨大なコストが必要となることが課題として挙げられます。これらの課題を乗り越えるために、現在ではRAG型が主流となりつつあります。前述の課題を解決し、生成AIの利活用を進めるために現在の主流となりつつあるのがRAG型です。ChatGPTを開発・提供するOpenAI社もこのRAG型の有効性について公式に発表をしています。データやマニュアルをアップロードすると、その内容を回答するチャットボットの作成が可能です。PreviewTECHCOMMUNITY.MICROSOFT.COMMicrosoft製データをアップロードするだけで、独自のチャットボットを作ることができるというコンセプトRAG型でのメールドラフト作成の流れ・メール作成プロンプト例RAG型でのメールドラフト作成の流れは以下の通りです。】あなたはA社のカスタマーサポート担当者です。問い合わせの回答メールを作成してください。#問い合わせログインできません#参考情報Q:ログインできないA:パスワードリセットを行なってください。1の検索結果を参考情報としてプロンプトのQとAにそのまま挿入RAG型で失敗する2つの理由RAG型は数多くのサービスで導入が試みられていますが、実際にはうまく機能しないことがしばしばです。data」も、実際に使ってみるとその限界に直面することが多いのです。RAG型がうまく機能しないのでしょうか?その答えは主に2つの要素にあります。それは「作成で失敗している」と「検索で失敗している」です。RAG型のプロセスはこの2つのステップからなるため、そのどちらかで問題が生じている場合、結果として失敗となります。作成で失敗しているまず、「作成で失敗する」という問題について見ていきましょう。これに対する対応策としては、1つ目はGPT-4の導入、2つ目はプロンプトの工夫です。GPT-4の導入は、作成の失敗を大幅に解消する可能性があります。GPT-3.5でも作成が可能な場合もありますが、不十分な情報が多く、一部の情報を切り取った回答することが多いです。GPT-4では、これらの問題を大幅に解消することが期待できます。GPT-4の導入だけで完全に問題が解決するわけではありません。それはなぜなのでしょうか?それは、生成する内容は、与えられたプロンプト(指示)に大きく依存するからです。そのため、プロンプトの工夫も非常に重要となります。明確で具体的なプロンプトを設定することで、より適切な回答を生成する可能性が高まります。検索で失敗している次に、「検索で失敗する」という問題について考えてみましょう。これに対する対応策としては、1つ目は検索エンジンを強化すること、そして2つ目はデータを整理することです。検索エンジンを強化するためには、専門的な支援が必要です。ここで重要なのは、強力な検索エンジンだけでは問題を解決できないということです。データの整理が不十分であると、どんなに強力な検索エンジンを導入しても、その効果を発揮できないからです。RAG型で失敗する最大の理由は「検索で失敗する」ことです。ほとんどの場合、適切な回答が見つからないという問題が起きています。そのため、データを如何に整理し、検索エンジンが適切な情報を見つけられるようにするかが重要となります。具体的にどのようにデータを整理すればよいのでしょうか?その前に、意味検索という概念について理解する必要があります。意味検索がうまく機能するためには、データの整理が不可欠です。この意味検索とは一体何なのでしょうか?次の項目では意味検索の内容について深掘りしていきたいと思います。意味検索は、単にキーワードが含まれている文章を検索するのではなく、意味的に近い文章を見つけ出す方法を指します。これは、従来のキーワードベースの検索とは一線を画し、意味の近さを測定し、検索結果の上位に表示するというアプローチを採用しています。Learning技術を応用し、意味を表すベクトルを作成し、そのベクトルの近さを比較することが一般的となっています。Searchとも呼ばれます。「ログインできない」という問い合わせに対して、「ログインエラーがでました」という表現も、意味的には全く同じです。従来のキーワード検索では、キーワードが完全に一致しなければ検索結果にヒットしないという問題がありましたが、意味検索では意味的に近い表現を上位に表示することが可能となります。意味検索の大きなメリットは、文章をそのまま検索できる点です。キーワード検索では、文章全体を入力するということが難しかったり、欲しい検索結果を得るためには裏側で工夫をしなければならなかったりします。意味ベースの検索では、文章をそのまま入力し、そのまま検索ができます。これは、AIが意味をうまく表現できるようになったことで可能となりました。このような理由から、最近では意味ベースの検索がよく使われています。実際、Googleの検索も基本的にはこの方式で行われています。意味の近い文章を検索するということが、現代の検索技術の重要な要素となっているのです。意味検索は、意味的に近い文章を見つけ出す革新的な方法ですが、それには一定の落とし穴が存在します。それは、「問い合わせの内容」を検索しても「回答の内容」がヒットするとは限らないという点です。「ログインできない」という問い合わせがあったとします。マニュアルの中に「パスワードリセットの方法」が書かれていたとしても、「ログインできない」という質問の意味の近いものを探す意味検索では、「パスワードリセットの方法」はヒットしないでしょう。「ログインできない」という言葉の意味と「パスワードリセット」という言葉の意味は全然違うからです。「ログインできない」という問題を解決するためには「パスワードリセット」が有効かもしれませんが、「ログインできない」という問いと「パスワードリセット」という回答の意味は違います。そのため、意味の近い文章を検索する方法を使っても、適切な回答がヒットしない可能性があります。この問題を解決するためには、質問と回答のセットにして保存しておくことが非常に重要になります。質問だけや回答だけでなく、質問と回答の形式(Q&Aの形式)でデータを整理しておくことが必要です。このような形式でデータを整理することにより、意味検索が「質問の意味」に対して「適切な回答の意味」を見つけ出すことが可能となります。作り上げるまでに時間がかかるこれらのデータ形式の中で、特におすすめしたいのが質問例付き定型文(KCS)です。この方法のメリットは、質問の例がついているため検索でヒットしやすいこと、そして運用を回していく中で網羅性が上がっていくことです。これにより、人間の生産性もAIの精度も向上します。デメリットとしては、この形式のデータを作り上げるまでには時間がかかるという点がありますが、その労力を考慮しても、KCSは質問と回答がセットになったデータを整理する際の最良の手法と言えるでしょう。Service)は、ナレッジをもとに回答を返していくという形式のことを指します。既存のFAQに回答が存在しないお問合せが来た場合、ナレッジ作成者が新たなナレッジ(知識)を作り出し、それを回答として提供します。この考え方は、定型文の運用においても同様で、登録されていない定型文に対しては、新たに定型文を作成して回答します。上記のメリットと共に、定型文のKCS運用で蓄積されるデータが人間のオペレーターやAIに有益であるためKCS的な運用を行うことをおすすめします。assist』が活用されています。その事例をご紹介致します。上記に加えて、KCS的運用が回るように株式会社SBI証券様が現場の方に向けた勉強会を実施してくださったことにより、以下のような成果がでました。繁忙期は1人1人が通常の倍以上の件数を捌くように一方で品質はむしろ上がり「ありがとう」率は2倍にナレッジ更新(共有)頻度は100件/週以上に新人さんが1ヶ月で中堅オペレーターと同じくらいの戦力に業務効率化や品質向上を実現し、社員一人ひとりの成長を促進するといった成果が出ています。これは定型文のKCS的運用が組織全体の生産性や品質に大きく寄与することを示す結果であると言えます。「カスタマーサポートをEmpowermentする」をブランドパーパスに掲げるカラクリ株式会社です。カスタマーサポート業務に役立つ情報、思わずシェアしたくなる情報をお届けします。