Amazon Redshift
はじめに こんにちは、山本です。 今回はAWS資格の一つであるDEA(Data Engineering Associate)の学習中に気になった「列指向形式」データの概要やメリット・デメリットについてお話しします。 私と同じようにAWSの資格を勉強している方にとっての手助けにな…
はじめに 拡張クエリモニタリングって何でしたっけ？ なぜSYS:MONITOR ロール？ SYS:MONITOR ロールを使ってみた 1. データベースに、管理者ユーザで接続する 2. MONITORロールを作成し、MONITORロールにSYS:MONITORロールを割り当てる 3. AWS マネジメント…
はじめに 前提 データ収集パターン Redshift ZeroETL 構成イメージ 特徴 課金対象となる主な要素 前提・考慮事項 構成検討時のポイント 参考リンク Redshift FederatedQuery 構成イメージ 特徴 課金対象となる主な要素 前提・考慮事項 構成検討時のポイント …
本投稿は サーバーワークス Advent Calendar 2024 の 18日目の記事です。 こんにちは。エデュケーショナルサービス課の竹本です。 世間ではインフルエンザが猛威を振るっていますね。 あぁ、鴨鍋を食べたいなぁと思いながら自宅でこのブログを書いています。…
はじめに 構成図 事前準備 AuroraMySQL側アカウント ネットワーク作成 サブネットグループ作成 AuroraMySQL作成 テスト用データ作成 Redshift Serverless側アカウント ネットワーク作成 Redshift Serverless ワークグループ/名前空間の作成 VPCピアリング作…
こんにちは。アプリケーションサービス部の柳田です。 先日開催された AWS re:Invent 2023 では『zero-ETL』と名の付くアップデートが印象的でした。 そこで現時点（2023/12/7）で発表されている zero-ETL 関連のアップデートについて整理してみようと思いま…
コーヒーが好きな木谷映見です。 先日こちらのブログで、Aurora Serverless MySQL 互換バージョンにフェデレーテッドクエリする手順を記載しました。 blog.serverworks.co.jp 今回は、 Redshift クエリエディタ v2 でフェデレーテッドクエリを試してみます。…
コーヒーが好きな木谷映見です。 先日こちらのブログで、Aurora Serverless PostgreSQL 互換バージョンにフェデレーテッドクエリする手順を記載しました。 blog.serverworks.co.jp 今回は Aurora Serverless MySQL 互換バージョンにフェデレーテッドクエリし…
コーヒーが好きな木谷映見です。 今回は、Amazon Redshift Serverless をプライベートサブネットに作成して S3 バケットからデータを COPY できるように設定します。 背景 構成図 S3 バケットの作成 サンプルデータ格納 EC2 インスタンスに psql をインスト…
コーヒーが好きな木谷映見です。 Amazon Redshift を作成する際、多くの方は業務データ保護の観点でプライベートサブネットに作成されるのではないでしょうか。 「プライベートサブネットに作成したのだからもう安心」と思われるのはまだ早く、Redshift 側で…
コーヒーが好きな木谷映見です。 手元に BI ツールが無くても、EC2 インスタンスから接続しちゃえばいいじゃない。 ということで、Amazon Redshift Serverless の検証をするため、手軽に検証環境を作ります。 構成図 VPC と サブネットを作成する IAM ロール…
コーヒーが好きな木谷映見です。 Amazon Redshift はフェデレーテッドクエリをサポートしています。 Redshift でのフェデレーテッドクエリの概要については以下のブログをご参照ください。 blog.serverworks.co.jp 今回は、Amazon Redshift Serverless から …
コーヒーが好きな木谷映見です。 Amazon Redshift はフェデレーテッドクエリをサポートしています。 今回は、フェデレーテッドクエリの概要について記載します。 フェデレーテッドクエリとは フェデレーテッドクエリでできること フェデレーテッドクエリでで…
コーヒーが好きな木谷映見です。 2022 年 7 月 12 日、Amazon Redshift Serverless の一般提供が開始 されています。 Amazon Redshift とは、AWS における DWH（Data Ware House：データウェアハウス）のサービスです。これがサーバレスになったというのはど…
営業部 佐竹です。本日のブログではコスト最適化手法の1つとして、Redshift クラスターを未使用時に停止してコストを削減する方法について記載します。
営業部 佐竹です。本ブログは、Redshift クラスターの運用知見を記載します。特に Manual WLM を利用している場合での同時実行数チューニングについて記載します。最後にパラメータチューニングにおけるポイントを運用視点でまとめました。
こんにちは！技術2課、濱岡です。 最近、ものすごく暑いですが、皆様いかがお過ごしでしょうか？ 私は暑くなると無性にカレーが食べたくなります。 しかもスパイシーなカレーが食べたくなる、、、暑さには変えられない、、、、 さて、今回はAmazon Redshift…
