こんにちは、エンタープライズクラウド課の加藤ゆです。 AthenaとGlueの料金ページを解読するのがつらかったので、まとめてみました。 なお当記事に記載する情報は、2023年3月1日現在のものです。 最新料金体系は記載の公式ドキュメントをご確認ください。 A…

こんにちは、クラウドインテグレーション部の加藤ゆです。 Athenaを利用してデータ検索を実施する際に、Athenaエディタを利用グループ毎で管理したいときや、裏で利用するGlueの実行権限を限定したいときはないでしょうか。 今回は、AthenaとGlueのアクセス…

こんにちは、CI2部の加藤ゆです。 Athenaを利用したデータ分析を実施するための環境準備作業をやっていきます。 Amazon Athena とは？ AWS Glueとは？ Glue Data Catalog Glueクローラ AthenaとGlueの関係 本記事でやること 前提条件 作業手順 １．Database…

こんにちは、アプリケーションサービス部 ディベロップメントサービス2課の森田です。 当記事では Glue Studio Jupyter Notebook の料金について書いていきます。 ちょっと試しただけのつもりだったのですが、蓋を開けてみるととんでもない料金になっていま…

こんにちは！SRE2課 入倉です。 今回はEventBridgeを使ってS3バケットに指定した数のファイルがアップロードされたら、 Glueワークフローを起動させて、その中で指定したGlueジョブを実行する設定を試してみました。 構成 前提 設定 Glueワークフローの作成 …

はじめに こんにちは。アプリケーションサービス部 河野です。 最近 Glue の Python Shell ジョブを初めて触ったのですが、その際に検証した ETL 実装について備忘録として記載します。 検証では、以下処理を実行する単一の Python Shell ジョブを実装しまし…

例のAWSデータレイクの本でお勉強がてら AWS Glueを開いていたら何やら「new!」としてAWS Glue Studioなる機能が追加されていたので実際に触ってみました。 aws.amazon.com 一言でいうと「AWS Glueの新しいビジュアルインタフェースで、利用者がAWS Glue ETL…

2017年12月から東京リージョンでも使用可能になったAWS Glue。データの加工や収集ができるともっぱらの噂ですが、どんなことに使えるんだろう・・・？ということで、S3に保存したデータを、Glueを使って加工してみました、というブログです。 はじめに 4月は…