はじめに データドリブンな人間を目指している香取です。 Snowflake を使っていると、データのアップロード時に「内部ステージ」「外部ステージ」という概念に出会うことがあります。 どちらがどう違って、どのように使い分けるのか、理解できていなかったの…

はじめに データドリブンな人間を目指している香取です。 今回はタイトルの通り、Snowflake のコマンドラインツールである SnowSQL をインストールして Snowflake アカウントに接続するまでの方法を紹介します。 個人的に MFA 設定の部分でつまずいたので記…

はじめに 概要 実装 1. FRESHNESSの定期実行を対象テーブルに定義 2. CREATE ALERT で監視設定 お片付け おわりに 参考 はじめに アプリケーションサービス部の鎌田(義)です。 今回は、SnowflakeのFRESHNESSを触ってみます。 概要 データ活用基盤では日々デ…

はじめに 概要 実装 Snowpipe作成 StreamとTaskを使用したCDCの実装 Stream作成 Task作成 動作確認 おわりに はじめに アプリケーションサービス部の鎌田(義)です。 今回はSnowflakeでStreamとTaskを使用してCDCを実装してみました。 概要 以下のような構成…

クラウドインテグレーション部の宮本です。 今回は Snowflake へのアクセス元 IP アドレス制限を試してみます。Snowflake のアカウント作成後はデフォルトでインターネット経由でどこからでもアクセス出来る（パスワード認証のみ）状態ですが、アクセス元 IP…

クラウドインテグレーション部の宮本です。 今回は Redash から Snowflake に接続して新型コロナウイルス感染動向を可視化してみた の QuickSight 版です。 可視化する項目は以下、東京都のサイトを参考にします。 東京都 新型コロナウイルス感染症 対策サイ…

CI 部の宮本です。今回は Snowflake に S3 からデータをロードする でインポートしたデータを使って、Redash 上で新型コロナウイルス感染動向を可視化してみます。 可視化する項目は以下、東京都のサイトを参考にします。 東京都 新型コロナウイルス感染症 …

CI 部の宮本です。8月に入ってすっかり夏らしい天気ですね〜。少し散歩するだけでも汗だくになってしまいます。 さて、今回は Snowflake に S3 からデータをロードしてみたいと思います。 はじめに 概要 使用するツール ロード対象のデータ ロード先データベ…

CI 部の宮本です。今回はローカルの CSV ファイルを Snowflake にロードしてみたいと思います。 やり方を調べていたところ、公式ドキュメントにぴったりのチュートリアルがあったので、以下を参考に進めてみます。 Snowflake を 20 分で紹介 SnowSQL で Snow…

CI部の宮本です。最近、天気が悪い日はもれなく頭痛に悩まされています。鎮痛剤で対応していますが、何か良い方法はないものでしょうかねえ。。 さて、今回は先日のブログ SnowSQL コマンドで Snowflake に接続する の続編です。Webインターフェース、CLIツ…

技術4課の宮本です。先日スタンディングデスクを導入したのですが、2日目にして何故か首を痛めてしまいました。人間の身体って脆いですね。 さて、今回は先日のブログ DWH製品の注目株!! Snowflake をさわってみた の続編です。前回はWebインターフェースで…

技術 4 課の宮本です。最近電動式のスタンディングデスク（の脚）を購入し、意味もなく上げ下げして満足感に浸っています。さて、今回は Data Warehouse-as-a-Service として最近注目を集めている Snowflake を触ってみました。 Snowflake とは クラウド向…