AWS Glue

AWS Glue Python Shell ジョブで CSV → Parquet 変換する ETL を実装する

はじめに こんにちは。アプリケーションサービス部 河野です。 最近 Glue の Python Shell ジョブを初めて触ったのですが、その際に検証した ETL 実装について備忘録として記載します。 検証では、以下処理を実行する単一の Python Shell ジョブを実装しまし…

AWS Glue Studioにてお気軽にGUIでETL

例のAWSデータレイクの本でお勉強がてら AWS Glueを開いていたら何やら「new!」としてAWS Glue Studioなる機能が追加されていたので実際に触ってみました。 aws.amazon.com 一言でいうと「AWS Glueの新しいビジュアルインタフェースで、利用者がAWS Glue ETL…

AWS GlueでS3に入っているデータを加工してみた

2017年12月から東京リージョンでも使用可能になったAWS Glue。データの加工や収集ができるともっぱらの噂ですが、どんなことに使えるんだろう・・・?ということで、S3に保存したデータを、Glueを使って加工してみました、というブログです。 はじめに 4月は…