サーバーワークスの村上です。
2023年10月にAmazon BedrockとSlackを使った、RAG構成のチャットボットを作ってみました。
3か月が経った今、なんとこのアプリはサーバーワークスの社内ルールやナレッジなど様々な情報を基に回答するチャットボット「サーバーワークスアシスタント」として、多くの社員のお役に立っています。
このブログでは「Bedrockで何か作りたいな」レベルのお試しチャットボットが徐々に社内で使われ、結果として私や周囲に起きた変化について紹介します。
どんなチャットボットか
デモ動画
どんな機能があるか
- RAG
- 社内の情報があるConfluenceを基に回答。回答とともに一次情報へのリンクを表示
- ストリーミング
- AIが回答全文を生成してからレスポンスするのではなく、言葉を生成するたびに都度レスポンスし、体感の待ち時間を軽減
- 会話履歴の保存
- 会話履歴はDynamoDBに保存し機能改善に活用
- フィードバック機能
- Badボタンなどをつけてユーザーからフィードバックを得る
構成
- SlackからアプリをメンションするとAWS Lambdaが動き、Amazon Bedrockなどと連携します
- SlackからAWS Lambda呼び出しに必要な認証情報はAWS Secrets Managerに保存しています（Amazon KendraからConfluenceも同様）
- 会話履歴やフィードバックはDynamoDBに保存しています
そもそもRAGとは
RAGについては過去のブログに記載していますのでそちらをご参照ください
周囲に起きた変化
以上がチャットボットの概要です。ここからチャットボットを3か月運用して起きた変化を紹介します。
情報源のブラッシュアップが盛んになった！
これが一番大きくてポジティブな変化かと思います。
チャットボットに正しく回答させるために一次情報のメンテナンスが盛んになりました。
例を挙げます。
とある社内手続きに関してチャットボットに質問したところ、「分かりません」と回答されました。
一次情報源であるConfluenceを見たところ、該当するページにその手続きに関する記載はありませんでした。その代わりページにExcelが添付されていて、そのExcelを見ないと目的の情報にたどり着けない状況でした。
対策としてExcelの運用は止め、ConfluenceのページにFAQとして直接記載することとしました。
つまり、チャットボットが情報を検索できる状態にしてあげることで、結果としてユーザーフレンドリーな状態にもなったわけです。
自社サービスに関する社内問合せの一次回答に採用！
どんな会社でも、違う部署なんだけど密接に関わりのある部署ってあると思います。
例えば、製品やサービスの所管部署とそれらを営業・販売する部署が別の場合などです。
この場合、営業担当からサービス所管部署へ様々な問合せが発生するかと思います。
「お客様からこんなこと聞かれているんだけど対応可能ですか？」などなど。
サービス所管部署にとっては
「ここに書いてあるのに...」
「前にも同じこと訊かれたな...」
と煩わしくもあり、営業担当は
「いくつもあるサービスの細かい仕様まで覚えてられないよ...」
と思うわけです。
弊社でも似たようなことはあり、このようなシーンにもチャットボットを採用しています。
まだまだ試運転中ですが、チャットボットなら24時間365日、同じことを何度きいても嫌な顔ひとつしません。
チームができた！
サーバーワークスではお客様に提案する技術はまず自分たちが試してからというドックフーディング文化があります。
Amazon Connectもサーバーワークスの代表電話として採用しつつ、お客様にも導入しています。
Amazon Bedrockを中心とした生成系AIソリューションも同様です。どんどん社内で使い倒して、得た知見をお客様のAI導入に役立てています。
このチャットボットに関しても、今ではチームで機能改善しています。
頼もしいチームメンバーのおかげで、アプリの質と開発スピードが大幅に向上し日々感謝です。
利用実態
利用数
チャットボットについて社内全体にアナウンスしてから1月25日までの約70日の間に、質問総数は589件ありました。
1日あたり7~8件の質問に答えていることになります。
ユーザーの声
チャットボット導入あたり、嬉しい感想もありました。
こちらは、そもそも存在しない情報を探す手間がなくなったという感想です。存在しないのであれば作ろう！という動きにも繋がり、とても良いフィードバックでした。
また、サーバーワークスでは「Unipos」を利用したピアボーナス制度を使っています。こちらでも嬉しい感想をいただいています。
感謝を伝える仕組みを作る。ピアボーナス「さばチップ」プロジェクトとは？ - サバワク | サーバーワークスのオープン社内報
私個人に起きた変化
社内登壇の機会が増えた！
おかげさまで「村上はAI/ML系サービスを触っている」というイメージを持つ社内メンバーがちらほらと増え、質問を頂く機会や個人・チームとして社内勉強会をする機会が増えました。
社内の営業メンバー向けに「Amazon Bedrockとは？」勉強会を行いました。
上述したチームとしても、このチャットボットを題材に社内勉強会をしました。
私にとってもフィードバックがあるというのが非常に嬉しく良い体験でした。
まとめ
社内Wikiに生成AIを組み合わせたことで様々なメリットがありました。
検索して目的の情報を探す手間が省けるというメリットだけでなく、一次情報をブラッシュアップする動きが盛んになるなど副次的な効果もありました。
私個人としても「お試しアプリを作ってみよう」と思い立ったことをきっかけに、社内登壇やチームメンバーからの学びなど、ありがたい機会を得られました。
