こんにちは、やまぐちです。
概要
Amazon Q Business では、チャットで得た回答に対してフィードバックできます。
回答が役に立った場合は「good」、満足のいく回答ではなかった場合には「bad」を押せます。
SNS のグッドボタンやバッドボタンみたいなイメージです。
また、バッドボタンを押された場合は理由も合わせて送信が可能です。
フィードバックをもとに、Amazon Q Business の設定をカスタマイズしてより良いボットへと進化させることができます。
手軽にフィードバック数を確認したい場合
単純にフィードバック数を確認するだけなら、Amazon Q Business insights から確認ができます。
- Thumbs down：バッドボタンを押された回数
- Thumbs up：グッドボタンを押された回数
- Without feedback：フィードバックなしの回数
ただし、Amazon Q Business insights から確認できるのは、1日あたりの上記メトリクス数のみです。
いつ、どのユーザーがフィードバックしたか？といったなどの詳細情報については分析が難しい形になっています。
そのため、より詳細な情報を確認したい場合には CloudWatch Logs にログを出力して確認する必要があります。
ログの分析までやってみる
それでは早速、CloudWatch Logs にログを出力して分析してみます。
ログ出力の設定
デフォルトではログ出力されないので、設定していきます。
対象の Application から「Admin controls and guardrails」へ移動します。
Log delivery のメニューから、CloudWatch Logs を選択します。
設定値は、以下の通り進めます。
「Field selection」で出力したい項目を選択できます。
今回は、誰がフィードバックをあげたのかを確認したいので以下を含めておくことにします。
timestamp：チャットでやりとりをした時間user_email：チャットのやりとりをしたユーザusefulness_reason：バッドボタンを押した理由usefulness：グッドボタンかバッドボタンのどちらを押したか- グッドボタンを押した場合：
USEFUL - バッドボタンを押した場合：
NOT_USEFUL
- グッドボタンを押した場合：
これで、ログの設定は完了となります。
設定した時点からのログしか流れない点については注意が必要です。
ログの確認
ログの設定が完了したので、早速回答に対してバッドボタンを押していきます。
ロググループを確認すると、2種類のログストリームにログが出力されているのが確認できます。
今回はフィードバックに関する分析をしたいので、QBusiness/Chat/Feedbackを確認します。
ログが出力されているのが確認できます。
CloudWatch Logs Insights で分析する
ログの出力が確認できたので、「アクション」から「Logs Insights」を選択して Logs Insights のページへ移動します。
任意の期間に設定します。
今回は、3日で分析します。
まずは、バッドボタンが押されたメッセージを抽出してみます。
以下のクエリを実行します。
filter usefulness = "NOT_USEFUL" and ispresent(user_email)
過去3日間では、5件の回答にバッドボタンを押されたことがわかりました。
次は、クエリを修正して以下の形式で出力するようにしてみます。
| @timestamp | user_email | user_message | system_message | usefulness_reason |
|---|---|---|---|---|
| 2025-MM-DDTxx | ユーザ名 | チャットへの質問内容 | Amazon Q Business からの回答 | バッドボタンを押した理由 |
以下のクエリを実行してみます。
filter usefulness = "NOT_USEFUL" and ispresent(user_email) | fields @timestamp, user_email, user_message, system_message, usefulness_reason | sort @timestamp desc
結果が返ってきました。
yamaguchi@serverworks.co.jpさんから多くのバッドボタンが押されています。
クエリを工夫することで、様々な分析が可能となります。
クエリの詳細については、以下ドキュメントをご参照ください。
docs.aws.amazon.com
まとめ
今回は、Amazon Q Business へのフィードバックを CloudWatch Logs Insights で分析するまでを実施してみました。
ログの出力設定も簡単にできますし、CloudWatch Logs Insights を利用することでスピーディな分析も可能なことがわかりました。
S3 や Data Firehose への出力も可能ですので、QuickSight で可視化したり AI にデータ分析させて改善対応を行うこともできると考えています。
ユーザからのフィードバックを得て、より良い Amazon Q Business 生活ができそうですね！
