はじめに この記事の対象読者 先にハマりポイントだけ知りたい方へ z-order とは 想定シナリオ パーティションとソート設定 z-order を設定してみよう！ 事前準備 1. テーブルバケットの作成 2. 名前空間（namespace）・テーブルの作成とソート順序の定義 実…

はじめに こんにちは！三宅です！ やっと杉の花粉が落ち着いてきて安心しています。 さて、外部ベンダーに自社 AWS アカウントの AWS CodeArtifact へアクセスしてもらう必要が出てきました。 ベンダーがライブラリをプッシュしたり、こちらがそれを取得した…

はじめに こんにちは！三宅です！ 最近運動不足でエアロバイクを買いました。 今回は、AWS Fargate や AWS Lambda で利用する Docker コンテナのビルド時に、AWS CodeArtifact のプライベート Python パッケージを安全にインストールする方法を紹介します。 …

はじめに こんにちは、アプリケーションサービス本部の三宅です！ Amazon S3 Tables の大きな魅力の一つが、自動でメンテナンスを行ってくれる点です。 しかし、メンテナンスといわれても、何をメンテナンスするのかよくわかっていませんでした。 例えば、S3…

はじめに こんにちは！ Amazon S3 Tables を利用して、データレイクを構築する機会がありました。 最初は、「S3 + Parquet（Hive 形式）」を検討していましたが、特定のレコードを上書きしたいと思った時に、うまく実装することができませんでした。 S3 Tabl…

はじめに 今日は、Amazon Athena クエリのパフォーマンスを向上させる方法についてご紹介します！ Athena とは、Amazon S3 に保存されているデータを中心に、SQL を使ってさまざまなデータソースにクエリを実行できるサービスです。 クエリのパフォーマンス…

はじめに こんにちは！三宅です！ 最近、データを可視化するために、Amazon Managed Grafana を初めて触りました！ コンソールから「ワークスペースを作成」ボタンを押し、設定を行おうとしたのですが、以下のようなエラーが発生しました。 ※ 認証方法に、IA…

こんにちは！アプリケーションサービス部ディベロップメントサービス 1 課の三宅です！ 研修の一環で模擬案件に取り組みました。 その中で多くの学びがあったので、特に印象的だった失敗談とそこから得た知見を共有します。 AWS 環境での EFS のマウントに失…