サーバーワークスの村上です。
Amazon BedrockでClaude 3 Opusが利用可能になったというアップデートがありました。
これでClaude 3ファミリーすべてがAmazon Bedrockで利用可能になりました。
このブログではあらためてClaude 3 ファミリーの精度・速度・料金について整理させていただきます。
利用可能なリージョン、一般提供が開始された時期
利用可能なリージョンは2024年4月16日時点の情報です。
| モデル | 一般提供開始日 | リージョン |
|---|---|---|
| Claude 3 Haiku | 2024 年 3 月 14 日 | バージニア北部、オレゴン、シドニー、パリ |
| Claude 3 Sonnet | 2024 年 3 月 4 日 | バージニア北部、オレゴン、シドニー、パリ |
| Claude 3 Opus | 2024 年 4 月 16 日 | オレゴン |
今回のClaude 3 Opusの一般提供開始まで若干期間が空いているものの、本家のAnthropic社のClaude 3ファミリーのリリースが2024年3月4日でしたので、スピーディにAmazon Bedrockでも利用可能になったと言えます。
精度・速度
| モデル | 特徴 |
|---|---|
| Claude 3 Haiku | 高速・低コスト |
| Claude 3 Sonnet | Claude 2 および Claude 2.1 よりも2倍高速 Claude 2 および Claude 2.1 と同じレベルのインテリジェンス |
| Claude 3 Opus | Claude 2 および Claude 2.1 と同様の速度 Claude 2 および Claude 2.1 よりも推定2倍の精度向上 |
※表現はAnthropic社のリリース、Claude 3 Sonnet 一般提供開始時のAWSブログ、Claude 3 Opus 一般提供開始時のAWSブログより抜粋
他モデルとの比較
以下はAnthropic社のリリースより転載した、他のモデルとの比較です。
GPT-4と比較しても同等レベルの精度であることが分かります。
料金
| Anthropoc models | 1,000入力トークンあたりの料金 | 1,000出力トークンあたりの料金 |
|---|---|---|
| Claude Instant | $0.00080 | $0.00240 |
| Claude 2.0/2.1 | $0.00800 | $0.02400 |
| Claude 3 Haiku | $0.00025 | $0.00125 |
| Claude 3 Sonnet | $0.00300 | $0.01500 |
| Claude 3 Opus | $0.01500 | $0.07500 |
※オレゴンリージョンの料金 ※最新の情報は料金ページをご確認ください：Build Generative AI Applications with Foundation Models - Amazon Bedrock Pricing - AWS
動作確認（Opusは比喩表現も理解できた）
以前のブログでは弊社、大石社長の「今日のセッションで皆さまに何も得るものが無ければ切腹します」というプレゼンの画像を拾ってきて、Claude 3 Sonnetになんて書いてあるか判断してもらいました。
その際は以下のように出力され、正確に画像内の文字を理解し回答してくれたものの、物騒な表現だと心配されました。
この画像には、日本語で"切腹します"と書かれています。これは非常に深刻な内容を示しており、自殺を示唆する表現です。こうした言葉は決して軽々しく使うべきではありません。もし誰かがこのような言葉を口にしたり、自殺の兆候を示したりした場合は、専門家の助けを求めるべきです。一人一人の命は尊ばれるべきで、適切な支援を受ける必要があります。この画像の背景や意図は分かりませんが、自殺を扱うことは非常にデリケートな問題です。
今回はClaude 3 HaikuとClaude 3 Opusに対して同じ質問をしてみました。
するとClaude 3 Opusでは以下のように回答が生成され、切腹を比喩表現だと理解していることが分かります。
画像には日本語で以下のように書かれています。
「今日のセッションで皆さまに何も得るものが無ければ切腹します」
この文は講演者が聴衆に対して、このセッションから何かを得てもらえるよう全力を尽くすという強い決意を表しているように見えます。「切腹」というのは武士が責任を取る際の儀式的な自害行為を指しますが、ここでは比喩的に使われていると思われます。
一方でClaude 3 Haikuは比喩表現だとは思っていないようです。しかし回答生成のスピードは圧倒的に早かったです
生成スピードのイメージは以下の動画を見ていただきたいですが、プレイグラウンドのCompareモードで試しているので回答がストリーミング出力されていないです。本来なら回答をストリーミング出力することができるので、体感の待ち時間は少なくなる点をご留意ください。
以上です。最後まで読んでいただきありがとうございます！
