世界初、人間の応対を学習し高精度に再現するAIエージェントを開発

AIで応対文を生成する際の一般的な手法として、RAG（Retrieval-Augmented Generation）が知られています。RAGはマニュアルを参照することで回答可能な簡単な質問に対して、定型的に回答する場合などでは高い精度を示します。しかし、本AIエージェントの対象である、AIチャットボットで対応しきれない難易度の高い質問に対して、単純にRAGを適用した場合の回答精度は約20％に留まります。これは、難易度の高い質問に回答するためには、スタッフの暗黙知を考慮した上で自律的に情報収集する必要がある一方で、複数のマニュアルを参照する中で情報が混合し、ハルシネーションが発生するためです。
auチャットサポート窓口における過去の応対履歴には、お客さまに有効な回答ができた場合など、参考にすべき事例が多く含まれています。これらの応対事例は、お客さま一人ひとりのご相談内容や、その時々の状況に合わせて対応したものであり、背景や文脈が非常に多様かつ複雑な一方で、スタッフの暗黙知を抽出できる可能性があります。

過去の参考にすべき事例を複数組み合わせ、かつハルシネーションを抑制しながら利用することを目指し、本AIエージェントでは、まずお客さまの問い合わせの要点を整理しました。さらに、過去の参考にすべき事例を基に、「適用条件を確認する」「確認方法を提示する」のような応対パターンを分析し、構造化しました。この応対パターンに基づき仮組みした応対文に対し、社内マニュアルから追加情報を収集、ファクトチェックすることでハルシネーションを抑制し、自律的に最適な応対文案を生成します。

これにより、回答精度約90％を実現しました。スタッフは、お客さまからの質問に対する回答を調査、回答文を作文する作業をAIエージェントで代替し、提示された回答文案を確認・編集するだけで、迅速に対応可能となりました。その結果、お客さま一人あたりの応対時間を従来よりも約70％削減できる見込みとなり、スタッフの応対品質のさらなる均一化にも寄与します。

KDDIとKDDI総合研究所は、AI技術の社会実装とお客さま応対の品質向上を目指し、これからもお客さま体験価値向上に取り組んでいきます。