Amazon Athena

【翻訳記事】Amazon Athena を用いた PCI DSS ログレビューを AWS Lambda で自動化する

はじめに この記事は、AWS Security Blog に掲載されている「Automate Amazon Athena queries for PCI DSS log review using AWS Lambda」を日訳したものです。 本記事で掲載しているのは、あくまでもレビューするための監査ログを自動で準備する観点のノウ…

【用途別】S3ログを集計する方法 〜その② 少し複雑な条件で集計したい〜

こんにちは、屋根裏エンジニアこと 技術1課の折戸です。 前回に引き続きS3ログを集計する方法について、 今回は その② 少し複雑な条件で集計したい 場合の方法についてご紹介します。 集計条件 その② 少し複雑な条件で集計したい Athena クエリ結果の場所用…

Amazon Athenaを利用してS3に保管されているログを調査する - VPC Flow Logs編 -

CI部1課の山﨑です。 これまでAmazon Athenaを利用してS3に保管されているAWS Config/AWS CloudTrail のログを調査する方法を調べましたが、今回はVPC Flow Logs のログを調査する方法を調べてみました。 blog.serverworks.co.jp blog.serverworks.co.jp お…

Amazon Athenaを利用してS3に保管されているログを調査する - AWS CloudTrail編 -

CI部1課の山﨑です。 前回はAmazon Athenaを利用してS3に保管されているAWS Config のログを調査する方法を調べましたが、今回はAWS CloudTrail のログを調査する方法を調べてみました。 blog.serverworks.co.jp おさらい AWS CloudTrail AWS CloudTrail と…

Amazon Athenaを利用してS3に保管されているログを調査する - AWS Config編 -

CI部1課の山﨑です。 今回はAmazon Athenaを利用してS3に保管されているAWS Config のログを調査する方法を調べてみたので整理します。 おさらい AWS Config AWS Config とは AWS Config のログの種類 Amazon Athena Amazon Athena とは S3のログを調査して…

AWS利用料の明細をAthenaに取り込む

こんにちは、マツシタです。 みなさん、ご存知ですか?当社の「カスタマーポータル」というAWS請求代行サービス利用のお客様がAWS利用料を確認できるサイトの名前が「AWS利用料金確認ページ」と変わりました。確かに、利用料金の確認や利用明細のダウンロー…

【S3】Athena を使用して S3 のアクセスログを分析

エンジョイ AWS! サーバーワークス エンジニアの伊藤Kです。 冬。温かい飲み物と、ケーキが美味しい季節です。 最近、 この記事 でS3のサーバーアクセスログを見る機会がありましたが、 S3のサーバーアクセスログは、ログが出力されるS3のバケット内に、1行…

Athenaのパーティションプロジェクションを利用してCloudTrailのログ検索をする

CloudTrailのログをS3に保存することがあります。 その検索にはAthenaが便利で、導入もマネージメントコンソールから簡単にできます。 しかし、マネージメントコンソールの指示にしたがって導入すると、検索速度やコストの面で問題が発生します。 これを解決…

CloudTrail のログを Lambda から Athena を使って解析してみる

こんにちは。ポインコと暮らしている高橋です。 こどもの日は兄がAmazonで購入した室内用こいのぼりを揚げてくれました。 AthenaにCloudTrailのログを取り込む、というのは以前当社blogで紹介済みでした。 紹介時の2016年12月時点では、クエリを実行してClou…

Athenaを使ってVPC Flow Logsを解析する

実はSQL文が好きな鎌田です。 Athena、みなさんはもうご利用でしょうか。Athenaを使うとS3バケットの様々なログをSQLをかけて解析することができます。 今回は、VPC Flow LogsをAthenaで検索する方法をご紹介します。 VPC Flow LogsのログをS3に出力するよう…

AWS WAFのログをAthenaで整形する

渡辺です。 少し前になりますが、2018年8月末に一部WAF界隈で衝撃が走りました。 AWS WAFは全てのセッションのログが取得できなかったのですが、それが可能になったというニュースです。 AWS WAF の包括的なログ記録機能が新たに利用可能に ログの取得方法は…

CSVファイルをS3とAthenaを使って、データを取得

技術課の森です。 今回は、2つのCSVに対して、クエリを発行して、一覧を表示したいと思い、やったことを書いてみます。 はじめに 今回使うAWSリソースはS3とAthenaの2つ。 S3にあるファイルを基に、Athenaでテーブルを作成して、クエリを発行する感じです…

サーバーレスのクエリサービス「Amazon Athena」のチュートリアルでS3上のログを集計してみる

こんにちは。技術1課@大阪オフィスの柏尾です。 今回はre:Inventで発表された「Amazon Athena」について書いてみようと思います。(re:Inventの動画はこちら) Amazon Athena とは Amazon Athenaはまとめると、下記のようなサービスです。 Athenaは新しいサ…

Amazon Athena に CloudTrailのログを取り込んでみた

カスタマーサポート課の伊藤です。 re:InventでAmazon Athenaが発表されました。お客さまのサポート対応の中でCloudTrailのログを確認したいというシーンはよくあるのですが、CloudTrailは通常のテキストログではなくJSON形式なので人間にとってはなかなか読…