Databricks とは データガバナンスとは Unity Catalog によるデータガバナンス アクセス制御 監査 データ発見可能性 データリネージ ER 図 AI によるコメント生成 データ共有 データ品質 おわりに 参考 アプリケーションサービス本部の鎌田(義)です。 本稿で…

タイムトラベル機能とは タイムトラベルの利点 Delta Lake の構成 Databricks でタイムトラベル機能を検証 テーブル作成 データ追加/更新/削除 過去のバージョンを表示する (タイムトラベル) データ削除について 予測的最適化 おわりに 参考 アプリケーショ…

アプリケーションサービス本部の鎌田 (義) です。 CDK + TypeScript で開発する際、テストツールには Jest が標準で使われるのですが、 Jest でのテスト時に ESModule に関連するエラーと遭遇し、解決に苦労したことがあったので共有します。 何があったか …

はじめに 前提 データ収集パターン Redshift ZeroETL 構成イメージ 特徴 課金対象となる主な要素 前提・考慮事項 構成検討時のポイント 参考リンク Redshift FederatedQuery 構成イメージ 特徴 課金対象となる主な要素 前提・考慮事項 構成検討時のポイント …

はじめに 概要 実装 1. FRESHNESSの定期実行を対象テーブルに定義 2. CREATE ALERT で監視設定 お片付け おわりに 参考 はじめに アプリケーションサービス部の鎌田(義)です。 今回は、SnowflakeのFRESHNESSを触ってみます。 概要 データ活用基盤では日々デ…

はじめに 概要 実装 Snowpipe作成 StreamとTaskを使用したCDCの実装 Stream作成 Task作成 動作確認 おわりに はじめに アプリケーションサービス部の鎌田(義)です。 今回はSnowflakeでStreamとTaskを使用してCDCを実装してみました。 概要 以下のような構成…

はじめに 構成図 事前準備 AuroraMySQL側アカウント ネットワーク作成 サブネットグループ作成 AuroraMySQL作成 テスト用データ作成 Redshift Serverless側アカウント ネットワーク作成 Redshift Serverless ワークグループ/名前空間の作成 VPCピアリング作…

はじめに 前提 AuroraMySQL情報 検証で使用するテーブル DMSセットアップ手順 ソースエンドポイント作成 ソースエンドポイント作成 ターゲットエンドポイント作成 レプリケーションデータ保存先S3バケット作成 IAMロール作成 IAMロールに権限をアタッチ ター…

はじめに 前提 AuroraMySQL情報 検証で使用するテーブル 本エントリーで触れないこと S3エクスポート実行手順 S3エクスポートタスク作成に必要なリソースの作成 DBクラスターデータ保存先S3バケットの作成 S3エクスポートが使用するIAMロールの作成 IAMロー…

WebSocketとは サンプルチャットアプリケーションを構築 websocket-clientを使ってみる 最後に アプリケーションサービス部の鎌田(義)です。 PythonのWebSocketクライアント用ライブラリである、 websocket-client を使ってみたので、基本的な使用方法をご紹…

はじめに 前提 起こったこと 原因 回避策 1. poetryを使用する 2. requirements.txtを使用する 開発環境ではPipfileを使用しつつ、パッケージングにはrequirements.txtを使うパターン 3. カスタムDockerイメージを使用する 最後に はじめに アプリケーション…

アプリケーションサービス部の鎌田(義)です。 今回は、 ドラッグ/ドロップやリサイズ、追加/削除が可能な自由度の高いダッシュボードが実装できる gridstack.jsというライブラリを紹介したいと思います。 本記事ではVue3を使用し、基本的な使用方法について…