はじめに こんにちは！ Amazon S3 Tables を利用して、データレイクを構築する機会がありました。 最初は、「S3 + Parquet（Hive 形式）」を検討していましたが、特定のレコードを上書きしたいと思った時に、うまく実装することができませんでした。 S3 Tabl…

はじめに 今日は、Amazon Athena クエリのパフォーマンスを向上させる方法についてご紹介します！ Athena とは、Amazon S3 に保存されているデータを中心に、SQL を使ってさまざまなデータソースにクエリを実行できるサービスです。 クエリのパフォーマンス…

はじめに こんにちは！三宅です！ 最近、データを可視化するために、Amazon Managed Grafana を初めて触りました！ コンソールから「ワークスペースを作成」ボタンを押し、設定を行おうとしたのですが、以下のようなエラーが発生しました。 ※ 認証方法に、IA…

こんにちは！アプリケーションサービス部ディベロップメントサービス 1 課の三宅です！ 研修の一環で模擬案件に取り組みました。 その中で多くの学びがあったので、特に印象的だった失敗談とそこから得た知見を共有します。 AWS 環境での EFS のマウントに失…