AWS Marketplace 経由で Databricks セットアップとリソース構築をする

はじめに

AWS 上で Databricks を利用するには、2つの主な方法があります。

AWS Marketplace 経由でのサインアップ
- AWS Marketplace から Databricks のサービスを選択し、サブスクリプションを開始します
- これにより、Databricks の請求と AWS の請求を統合することができます
Databricks の公式サイトからのサインアップ
- Databricks の公式サイトから直接アカウントを作成し、AWS 上にワークスペースをセットアップします
- この方法では、Databricks の請求は Databricks から直接行われ、AWS の請求とは別になります

この記事では、AWS Marketplace 経由で Databricks の利用を開始する方法について紹介します。

基本的に「既存の AWS アカウントを使用して Databricks にサインアップします」に従って進めていきます。

この記事の対象者

AWS Marketplace 経由で Databricks の利用を開始したい方
Databricks の利用を検討しているが、どのように始めればよいか分からない方
Databricks の AWS 上でのセットアップ方法を知りたい方

はじめに
この記事の対象者
AWS Marketplace とは
ステップ0 : 必要なもの
ステップ1 : AWS Marketplace から Databricks の利用を開始する
- 補足
最後に
参考

AWS Marketplace とは

AWS Marketplace は、Amazon Web Services (AWS) 上でソフトウェアやサービスを簡単に購入、デプロイ、管理できるオンラインストアです。

Databricks のようなデータ分析プラットフォームも、AWS Marketplace 経由で簡単に利用を開始できます。

Databricks Data Intelligence Platform

AWS Marketplace から Databricks を利用することで、以下のようなメリットがあります。

簡単なサインアップ
- AWS アカウントを持っていれば、すぐに Databricks の利用を開始できます
請求の統合
- Databricks の利用料金が AWS の請求書に統合されるため、管理が簡単になります
AWS サービスとの統合
- Databricks は AWS の各種サービスとシームレスに統合されており、データの取り込みや分析が容易になります

ステップ0 : 必要なもの

「既存の AWS アカウントを使用して Databricks にサインアップします」を参考に、Databricks の利用を開始するために必要なものを確認します。

AWS アカウント
- Databricks の利用を開始するためには、AWS アカウントに以下の権限が必要です
  - IAM ロールの作成と管理
  - S3 バケットの作成と管理
  - CloudFormation スタックの作成と管理
  - VPC や NAT ゲートウェイの作成と管理
- VPC や NAT ゲートウェイを作成できるためのサービスクォータ
  - Databricks のリソースを CloudFormation でデプロイする際に、VPC や NAT ゲートウェイなども作成されます
  - AWS のサービスクォータコンソールから必要に応じてクォータの追加をリクエストできます
Databricks のアカウントオーナーとなるメールアドレス
- Databricks の管理コンソールへのアクセスや通知の受信に使用します

ステップ1 : AWS Marketplace から Databricks の利用を開始する

AWS マネジメントコンソールの検索窓に「Databricks」と入力し、「Databricks Lakehouse Platform」をクリックします。もしくは、以下のリンクから直接アクセスします
- Databricks Lakehouse Platform
「購入オプションを表示」ボタンをクリックします
画面下部の「サブスクライブ」ボタンをクリックします
「アカウントを設定」ボタンをクリックします
「AWS permissions」には、Databricks の利用に必要な AWS IAM 権限一覧が表示されています。もし自分のアカウントにこれらの権限がない場合は、必要な権限を追加するように AWS 管理者に依頼してください
「Databricks account」にて、Databricks のアカウントを新規作成します
Databricks のアカウントオーナーとなるメールアドレスなどの情報を入力します。このメールアドレスは、Databricks の管理コンソールへのアクセスや通知の受信に使用されます
AWS Marketplace の画面に戻ってアカウントのリンクが成功していることを確認し、「Next」をクリックします
Databricks のワークスペースを配置するリージョンや、アセットの保存場所となる S3 バケットなどを設定します。指定がない場合は、デフォルトの記載のままで問題ありません
次へ進むと AWS リソースを作成中の旨のメッセージが表示されますので、完了まで待ちます
しばらくすると Databricks のログイン画面が表示されますので、先ほど入力したメールアドレスを入力します
メールアドレス宛てに検証メールが送信されます。メール内の検証コードを入力して、メールアドレスの検証を完了します
Databricks の管理コンソールが表示されます。これで Databricks の利用を開始するための準備が整いました

補足

Databricks の画面は AWS のマネジメントコンソールからは直接アクセスできません。
Databricks の管理コンソール、もしくはワークスペースにアクセスするには、Databricks の URL を直接ブラウザに入力する必要がありますので、ブックマーク等に追加しておくと今後アクセスしやすくなります。