Amazon Athena

【S3】Athena を使用して S3 のアクセスログを分析

エンジョイ AWS! サーバーワークス エンジニアの伊藤Kです。 冬。温かい飲み物と、ケーキが美味しい季節です。 最近、 この記事 でS3のサーバーアクセスログを見る機会がありましたが、 S3のサーバーアクセスログは、ログが出力されるS3のバケット内に、1行…

Athenaのパーティションプロジェクションを利用してCloudTrailのログ検索をする

CloudTrailのログをS3に保存することがあります。 その検索にはAthenaが便利で、導入もマネージメントコンソールから簡単にできます。 しかし、マネージメントコンソールの指示にしたがって導入すると、検索速度やコストの面で問題が発生します。 これを解決…

CloudTrail のログを Lambda から Athena を使って解析してみる

こんにちは。ポインコと暮らしている高橋です。 こどもの日は兄がAmazonで購入した室内用こいのぼりを揚げてくれました。 AthenaにCloudTrailのログを取り込む、というのは以前当社blogで紹介済みでした。 紹介時の2016年12月時点では、クエリを実行してClou…

Athenaを使ってVPC Flow Logsを解析する

実はSQL文が好きな鎌田です。 Athena、みなさんはもうご利用でしょうか。Athenaを使うとS3バケットの様々なログをSQLをかけて解析することができます。 今回は、VPC Flow LogsをAthenaで検索する方法をご紹介します。 VPC Flow LogsのログをS3に出力するよう…

AWS WAFのログをAthenaで整形する

渡辺です。 少し前になりますが、2018年8月末に一部WAF界隈で衝撃が走りました。 AWS WAFは全てのセッションのログが取得できなかったのですが、それが可能になったというニュースです。 AWS WAF の包括的なログ記録機能が新たに利用可能に ログの取得方法は…

CSVファイルをS3とAthenaを使って、データを取得

技術課の森です。 今回は、2つのCSVに対して、クエリを発行して、一覧を表示したいと思い、やったことを書いてみます。 はじめに 今回使うAWSリソースはS3とAthenaの2つ。 S3にあるファイルを基に、Athenaでテーブルを作成して、クエリを発行する感じです…

サーバーレスのクエリサービス「Amazon Athena」のチュートリアルでS3上のログを集計してみる

こんにちは。技術1課@大阪オフィスの柏尾です。 今回はre:Inventで発表された「Amazon Athena」について書いてみようと思います。(re:Inventの動画はこちら) Amazon Athena とは Amazon Athenaはまとめると、下記のようなサービスです。 Athenaは新しいサ…

Amazon Athena に CloudTrailのログを取り込んでみた

カスタマーサポート課の伊藤です。 re:InventでAmazon Athenaが発表されました。お客さまのサポート対応の中でCloudTrailのログを確認したいというシーンはよくあるのですが、CloudTrailは通常のテキストログではなくJSON形式なので人間にとってはなかなか読…