サーバーワークスの村上です。
Amazon Bedrockが2023年9月28日ついにGA（一般公開）されました。
使用可能なリージョン
us-east-1 (バージニア北部) とus-west-2 (オレゴン)のみです。
ブログ執筆現在で東京リージョンは未対応です。
2023年10月5日追記
東京、シンガポール、オハイオリージョンも追加されていました！ただし、使えるモデルが限定的です。
使用可能なモデル
AI21 Labs「Jurassic-2 series」
テキスト生成や分類に使用できるJurassic-2 UltraとJurassic-2 Midが使用可能です。
複数の言語に対応していますが、仕様上、日本語は未対応のように見えます。
ただ実際は日本語も使えなくはなさそうです。
Anthropic「Claude」
話題のClaude v2です。
私も使ったことがありますが、日本語も対応していますし、回答の質も良い印象があります。
後述しますが、現状は利用するための申請が必要です。
Cohere「Command」
テキスト生成や要約に使用できます。
こちらに紹介動画があります。
対応言語は英語のみと記載がありますが、日本語も喋れなくはないようです。
Stability AI「Stable Diffusion」
画像生成のためのモデルです。
すでに試してみたブログがありますので使用感が気になる方は以下をご覧ください。
Amazon「Titan」
Titan Text モデルは、要約、テキスト生成、分類などに使用可能です。
埋め込みモデルのTitan Embeddingsも使用可能です。埋め込みってなに？という方は以下のブログで簡単に記載しています。
料金
主要な料金体系と扱えるトークン数を整理してみました。正確な情報は公式ページをご確認ください。
| モデル | 1000入力トークンあたり | 1000出力トークンあたり | 最大トークン数 |
|---|---|---|---|
| Titan Text – Lite | $0.0003 | $0.0004 | 8k |
| Titan Text – Express | $0.0013 | $0.0017 | 8k |
| Claude Instant | $0.00163 | $0.00551 | 100k |
| Claude | $0.01102 | $0.03268 | 100k |
| Command | $0.0015 | $0.0020 | 4096 |
| Jurassic-2 Mid | $0.0125 | $0.0125 | 8191 |
| Jurassic-2 Ultra | $0.0188 | $0.0188 | 8191 |
Claudeは扱えるトークン数も多いですが、料金も他と比較すると高額ですね。
トークンってなに？という場合は以下のブログで簡単に説明していますので、良ければご覧ください。
利用するにはModel accessの設定が必要
左ペインにあるModel accessから利用するモデルを選択し反映する必要があります。当初はAvailableとなっていますが、画面右上のEditから設定を変更します。
設定を変更すると以下のようにAccess grantedにステータスが変わります。私の場合は数分でステータスが変わりました。
AnthropicのClaudeを使うには申請が必要
AnthropicのClaudeについてはユースケースの説明などを添えて申請する必要があります。
Requestをクリックして、申請フォームに入力します。
申請が承認されるとAccess grantedになります。私の場合は4-5時間程度かかりました。なお、Titan Text G1 - Expressはまだプレビュー中で使えないようです。
機能
Playgrounds
基本的にはAPIから使用することになるかと思いますが、GUIでサクッと試したいときはPlaygroundsが有用です。
私の理解ですが、モデル選択において唯一解はなく、タスクに応じて最適なモデルは変わりますので、モデル選択の入口として使うと良さそうです。
引き続きプレビュー中の機能
これらの機能は引き続きプレビュー中であり、利用が制限されています。
- Amazon Titan Text
- Stable Diffusion XL
- エージェント (ナレッジベースを含む)
データプライバシー
Amazon Bedrockに入力した情報や作成したモデルはサービスの改善に使用されず、他のモデルプロバイダーにも公開されません。データはお客様のものです。
With Amazon Bedrock, you are in control of your data, and all your inputs and customizations remain private to your AWS account. Your data, such as prompts, completions, and fine-tuned models, is not used for service improvement. Also, the data is never shared with third-party model providers.
Amazon Bedrock Is Now Generally Available – Build and Scale Generative AI Applications with Foundation Models | AWS News Blog
また、保管中・転送中のデータは暗号化されますし、VPCエンドポイントを使ってVPC内からインターネット環境を通らずAmazon Bedrockにアクセスすることも可能です。
ロギング
CloudWatch LogsとS3に出力可能です。
以下はCloudWatch Logsに出力した例です。inputTokenCountとoutputTokenCountもとれるのが良いですね。
{ "schemaType": "ModelInvocationLog", "schemaVersion": "1.0", "timestamp": "2023-10-05T21:29:54Z", "accountId": "xxxxxxxxxxxx", "region": "us-east-1", "requestId": "121dab07-18c9-4133-b807-5c74b77cb9ee", "operation": "InvokeModel", "modelId": "anthropic.claude-v2", "input": { "inputContentType": "application/json", "inputBodyJson": { "prompt": "Human: AWSとはなんですか。主要なサービスを挙げて概要を説明してください\n\nAssistant:\n", "max_tokens_to_sample": 500 }, "inputTokenCount": 40 }, "output": { "outputContentType": "application/json", "outputBodyJson": { "completion": " AWSとは、Amazon Web Servicesの略称で、アマゾンが提供するクラウドコンピューティングサービスの総称です。\n\n主なサービスと概要は以下の通りです。\n\n- EC2(Elastic Compute Cloud): 仮想マシンをレンタルできるサービス。CPU、メモリ、ストレージなど必要なリソースを柔軟に選択可能。\n\n- S3(Simple Storage Service): オブジェクトストレージサービス。大量のデータをクラウドに保存できる。\n\n- RDS(Relational Database Service): マネージド型のリレーショナルデータベースサービス。\n\n- VPC(Virtual Private Cloud): 論理的に隔離されたプライベートクラウドネットワーク。セキュリティが高い。\n\n- CloudFront: コンテンツ配信ネットワーク。動画などの静的コンテンツを高速で配信。 \n\n- Lambda: サーバーレスコンピューティングサービス。コードをアップロードするだけで処理が実行される。\n\nこのように、コンピューティング、ストレージ、ネットワーク、データベースなど、クラウドに必要な資源やサービスを網羅しています。", "stop_reason": "stop_sequence" }, "outputTokenCount": 397 } }
ガバナンス・モニタリング
Amazon BedrockはCloudTrailやCloudWatchと統合されていますので、証跡の管理も可能です。
以下はCloudWatchメトリクスの画面ですが、例えばInputTokenCount、OutputTokenCountを監視して使用量をチェックすることもできそうです。
まとめ
私なりにAmazon Bedrockのメリットを3点でまとめてみました。
- タスクに応じて複数のモデルを選択可能
- 他のAWSサービスとの親和性
- 今後の機能追加に期待
- エージェント (ナレッジベース）
- Llama 2 13B および 70Bも間もなく利用可能！
