こんにちは、やまぐちです。
概要と結論
※2025年7月時点の情報ですので、ご注意ください。
今回は、Amazon Q Business で設定するデータソースについて言及してみます。
結論から記載すると 2025年7月現在時点では、英語で記載された内容を含んだファイルをデータソースに設定するのがベストです。
日本語で記載されたファイル等をデータソースに設定することもできますが、英語の内容をデータソースにした場合と比較すると精度に差が出ると考えています。
まとめにも記載しましたが、形式によっては日本語でもある程度の精度で返してくれる場合もありますが、今回は Word ファイルでの検証結果となります。
実際にやってみる
データソースに設定するのは、AI に作成させた「就業規則および福利厚生ガイドライン.docx」という Word ファイルです。
英語版のファイルは「Rules of Employment and Welfare Guidelines.docx」です。
これも AI に翻訳してもらい作成しました。
今回は、以下3つの質問をしてみて、どのような回答が得られるか？を確認していきたいと思います。
労働時間について教えてください。
期待する回答：所定労働時間は、1日8時間、週40時間である。昇給はありますか。
期待する回答：原則として年1回に昇給の機会がある。通勤手当の上限額について教えてください。
期待する回答：月額5万円
日本語のデータソースに設定した場合
まずは、日本語で書かれたドキュメントをデータソースに設定した場合に質問してみます。
労働時間について教えてください。
回答として「1日8時間、週40時間」というワードが含まれていました。
ただ、「勤務時間は午前6時45分から午後8時まで」となってますが、正しくは「午前9時から午後6時まで」となります。
昇給はありますか。
「明確な情報がない」と回答がきました。
しかし、期待する回答に記載した通り、明確に記載はあります。
通勤手当の上限額について教えてください。
「No answer is found.」で回答が返ってきました。
期待する回答は得られなかったようです…
英語のデータソースに設定した場合
「Rules of Employment and Welfare Guidelines.docx」をデータソースに変更して質問してみます。
労働時間について教えてください。
期待する回答がきちんと返ってきました！
いや、それ以上の回答かもしれませんw
昇給はありますか。
こちらも期待通りの回答が返ってきました！
通勤手当の上限額について教えてください。
完璧な回答が返ってきました。
まとめ
データソースを英語にすると 100発100中で的確な回答が返ってくるのに対して、データソースを日本語にする場合だと同じ質問でも期待した回答が返ってくることが少なかったです。
AWS ドキュメントにも、英語のドキュメントをインデックス化するように案内がありました。
docs.aws.amazon.com
ただ、英語で質問をしなくても日本語でやり取りができる点はありがたいなと感じました。
今回は、ファイルを直接アップロードした形で検証しましたが、データソースを Box や Confluence などのサードパーティーを設定した場合や Markdown の場合はまた結果が異なるかもしれません。
今後また検証できればと思います。
※2025年7月時点の情報ですので、ご注意ください。
【更新】2025/10 時点では、本ブログで紹介したような回答が返ってこないということはなく回答がきちんと返ってきます！！
今後のアップデートで、日本語をデータソースにした場合でも英語のデータソースと同じ精度が出ることに期待です！
