みなさんこんにちは。マネージドサービス部MSS課の塩野（正）です。
最近生成AIにハマってて、夜しか眠れてません。もちろん爆睡ですが・・ｗ
さて、本題となりますが、7/24早朝にAWSの更新情報からMeta社の新しい生成AIモデル Llama 3.1 が Amazon Bedrock で利用可能になったと発表がありました。
ちなみにMeta社からの発表は7月23日ですので、Meta社から発表されてすぐに対応するスピード感は各社ともすごいなぁと思います。
まず、今回更新されたモデルがどんなものなのかという所から話を進めていきたいと思います。
Meta Llama 3.1 の特徴
Meta Llama 3.1は、Metaが開発したオープンソースの大規模言語モデルで、大きいサイズから順に 405B、70B、8B の３種類がリリースされています。 それぞれのモデルの特徴は以下の通りです。
- 全モデル共通の特徴
- オープンソースで一般公開
- コンテキスト長が128Kに拡張
- 多言語対応
- Llama 3.1 405Bの特徴
- 世界最大かつ最も高性能なオープン利用可能な基盤モデル
- 一般知識、操縦性、数学、ツールの使用、多言語翻訳で最先端の機能
- トップクラスのAIモデル（GPT-4、GPT-4o、Claude 3.5 Sonnetなど）と競合可能
- 15兆を超えるトークンでトレーニング
- 合成データ生成やモデル蒸留などの新しいワークフローを実現
- Llama 3.1 70Bの特徴
- 405Bに次ぐ大規模モデル
- 低コストクラスのAIモデル（GPT-3.5Turboなど）と競合可能
- 長文テキストの要約、多言語会話エージェント、コーディングアシスタントなどの高度なユースケースをサポート
- Llama 3.1 8Bの特徴
- 最小サイズのモデル
- 同様のパラメーター数を持つ軽量モデル（Gemma 2 9B IT など）と競合可能
- 共通の利点
- 完全なカスタマイズが可能（新しいデータセットでのトレーニング、追加の微調整など）
- オンプレミス、クラウド、ローカル環境で実行可能
- トークンあたりのコストが業界で最も低いモデルの1つ
- 広範な開発者コミュニティによるイノベーションの促進
※カスタマイズしたモデルを商用でご利用される場合は、Meta Llama 3.1のライセンス契約（LLAMA 3.1 COMMUNITY LICENSE AGREEMENT）をよくご確認の上ご利用ください。
また、Meta社のブログに記載されているパフォーマンス表を見る限りでは、トップクラスのAIモデル（GPT-4、GPT-4o、Claude 3.5 Sonnet）と比較しても遜色ないパフォーマンスが出せているように見受けられます。いろいろなモデルを使ってみると、プロンプトを調整してもこの分野はこちらの方がよい出力結果がでるということは多少なりともあるかとは思いますので、こうした選択肢が増えるのはとてもいいことだと思います。
<Meta社ブログより引用>
Amazon Bedrock でMeta Llama 3.1 を試してみた
現状の確認
現状、Llama 3.1 70B、Llama 3.1 8B は、オレゴンリージョン（us-west-2）のみのサポートのようです。
モデル毎のリージョンについては、2024/7/24時点では公式ドキュメントに記載はありませんが、まだモデルがリリースされた直後というのもありますので待っていればきっとそのうち修正されると思います。
また、Llama 3.1 405Bは現時点でプレビューとなっており、公式ブログによると「Llama 3.1 405B Instructモデルのプレビューへのアクセス検討されている方は、AWS アカウントチームに連絡するか、AWS マネジメントコンソールからサポートチケットを送信してください」とありますのでご注意ください。
旧モデルをご利用の方への注意喚起
コンソール画面に表示されていたので念のための注意喚起となりますが、Llama 2 70B、Llama 2 13B、Llama 2 Chat 70B、Llama 2 Chat 13B はレガシーモデルになっており、2024/8/12にEOLとなっていますので、該当モデルをご利用の方はご注意ください。
試してみた
それではさっそく試してみましょう♪
Modify model access からリクエストするモデルを選択します。
その後、リクエストを送信します。
過去に申請したことがあるので、すぐに利用可能になりました。 あとはコードから呼び出すなりプレイグラウンドから呼び出すなりすることで、有効化したモデルを利用することができます。
今回はプレイグラウンドから呼び出してみましょう。 プレイグラウンドのチャット画面から「モデルを選択」をクリックします。
モデル選択画面から、Meta＞Llama 3.1 70B Instruct を選択し、適用をクリックします。
あとはモデルとひたすらチャットするだけです♪
まずは簡単な質問から。
シンプルながら100点の回答が得られました。やっぱりこの程度は楽々クリアしてもらわないと困りますね。
次にPDFファイルを読み込んでみましょう。 ちょうどよさそうなファイルが手元になかったので弊社の2025年2月期 第1四半期決算短信〔日本基準〕(連結)をダウンロードしてきて、 その中から情報を探してもらうタスクを実験してみました。
意図したとおりに情報を拾ってきていますので、PDFファイルを読み込んでその中の情報を調査するといった用途でも普通に使えそうですね。
まとめ
Meta社の新しい生成AIモデル Llama 3.1 が Amazon Bedrock で利用可能になったとのことでさっそく試してみましたが、ごくごく簡単なタスクを依頼した限りでは他のモデルと比較しても遜色ない印象でした。もう少し色々試してみるとモデル毎のクセに気が付けるのかもしれませんが、現時点では有力な選択肢の一つかなぁという感想でした。
余談な話ではありますが、Amazon SageMaker JumpStartでも利用可能になっているようですので、機会があればぜひ使ってみてください。
こちらの記事がどなたかのお役に立てれば幸いでございます。
