Amazon Athena

【Amazon Athena】パーティションを使ってマルチアカウントのCloudTrailログ検索を高速化する

エンタープライズクラウド部の松田です。こんにちは。 今回はパーティションを活用して、マルチアカウント環境における、AWS CloudTrailログの検索を高速化する方法をご紹介します。 1. はじめに 2. 事前準備 クエリ結果の場所を設定する データベースを作成…

Athena API「GetQueryExecution」のコール数クォータはなぜ高めに設定されているのか?

結論 Athena APIコール数のクォータとは? GetQueryExecutionのクォータがやたら高い…なぜ? 調査結果 まとめ 熱中症を防ぐため塩水を飲むようになった前田(青)です。 お客様からAmazon Athena APIのコール数の制限(クォータ)についてお問い合わせがあり、…

Athena における NULL と WHERE 句の使い方を少し調べてみた。

こんにちは 技術課の山本です。 初めてAthena のクエリで WHERE 句を使用した際に、少しハマったので書き残します。 まず、テーブル "test" を作成しました。 no (int型) kind (string型) name (string型) 1 fruits apple 2 fruits banana 3 fruits peach 4 …

AWS CloudTrail で取得したログの検索

AWS CloudTrail を有効にしてS3にログを保存しているものの、保存しっぱなしでうまく活用できていないケースがおおいため、 S3に保存してあるCloudTrail のログを検索する方法をご紹介します。

【3/3】マルチアカウント環境のリソース情報を可視化してみる(AWS Config + Athena + QuickSight)

こんにちは。AWS CLIが好きな福島です。 はじめに 第1弾 第2弾 第3弾 概要図 AthenaとQuickSightのイメージ図 参考 ⑩QuickSightでデータの可視化(可視化アカウントで実行) 権限を付与するユーザーの確認 データソースの作成 データセットの作成 v_config_ec2…

【2/3】マルチアカウント環境のリソース情報を可視化してみる(AWS Config + Athena + QuickSight)

こんにちは。AWS CLIが好きな福島です。 はじめに 第1弾 第2弾 第3弾 概要図 参考 ⑦可視化したい情報ごとに様々なビューの作成(可視化アカウントで実行) すべての AWS Config リソースのビューの作成 すべての EC2 インスタンスのビューを作成 すべての VPC …

【1/3】マルチアカウント環境のリソース情報を可視化してみる(AWS Config + Athena + QuickSight)

こんにちは。AWS CLIが好きな福島です。 はじめに 第1弾 第2弾 第3弾 参考 可視化のイメージ 概要図 前提 ①ConfigSnapshotの出力設定(各アカウントで実行) ConfigSnapshotの確認 ConfigSnapshotの設定 設定ファイルの作成 設定ファイルを基にConfigSnapshot…

Amazon AthenaとAWS Glueの料金体系をまとめてみた

こんにちは、エンタープライズクラウド課の加藤ゆです。 AthenaとGlueの料金ページを解読するのがつらかったので、まとめてみました。 なお当記事に記載する情報は、2023年3月1日現在のものです。 最新料金体系は記載の公式ドキュメントをご確認ください。 A…

GlueとAthenaワークグループのアクセス権限管理

こんにちは、クラウドインテグレーション部の加藤ゆです。 Athenaを利用してデータ検索を実施する際に、Athenaエディタを利用グループ毎で管理したいときや、裏で利用するGlueの実行権限を限定したいときはないでしょうか。 今回は、AthenaとGlueのアクセス…

Amazon Athenaのワークグループとは

こんにちは、CI2部の加藤ゆです。 Amazon Athenaにワークグループなるものがあるのをご存じですか? 本記事ではワークグループについて、概要を記載します。 そもそもAthenaとは 機能1:保存したクエリ 機能2:クエリ履歴 ワークグループとは? なにがうれ…

AthenaとGlueを利用して、データソースへのSQLクエリ実行環境を準備する

こんにちは、CI2部の加藤ゆです。 Athenaを利用したデータ分析を実施するための環境準備作業をやっていきます。 Amazon Athena とは? AWS Glueとは? Glue Data Catalog Glueクローラ AthenaとGlueの関係 本記事でやること 前提条件 作業手順 1.Database…

Amazon Athena がパラメータクエリをサポートしました

CI2部 技術2課の山﨑です。 7月にAmazon Athena がパラメータクエリをサポートしましたので簡単にご紹介したいと思います。 おさらい Amazon Athena とは? アップデート概要 パラメータクエリを実行できるようになりました これまでのクエリとの比較 パラメ…

Amazon AthenaでSQLクエリを実行してみた

はじめに 前提知識 Amazon Athena テーブル データベース やってみよう 事前準備 データベースを作成する テーブルを作成する 分析 上から10件のレコードを取得する カロリーが高い順にレコードを取得する タンパク質(g)が2以上の野菜を多い順に取得する …

【翻訳記事】Amazon Athena を用いた PCI DSS ログレビューを AWS Lambda で自動化する

はじめに この記事は、AWS Security Blog に掲載されている「Automate Amazon Athena queries for PCI DSS log review using AWS Lambda」を日訳したものです。 本記事で掲載しているのは、あくまでもレビューするための監査ログを自動で準備する観点のノウ…

【用途別】S3ログを集計する方法 〜その② 少し複雑な条件で集計したい〜

こんにちは、屋根裏エンジニアこと 技術1課の折戸です。 前回に引き続きS3ログを集計する方法について、 今回は その② 少し複雑な条件で集計したい 場合の方法についてご紹介します。 集計条件 その② 少し複雑な条件で集計したい Athena クエリ結果の場所用…

Amazon Athenaを利用してS3に保管されているログを調査する - VPC Flow Logs編 -

CI部1課の山﨑です。 これまでAmazon Athenaを利用してS3に保管されているAWS Config/AWS CloudTrail のログを調査する方法を調べましたが、今回はVPC Flow Logs のログを調査する方法を調べてみました。 blog.serverworks.co.jp blog.serverworks.co.jp お…

Amazon Athenaを利用してS3に保管されているログを調査する - AWS CloudTrail編 -

CI部1課の山﨑です。 前回はAmazon Athenaを利用してS3に保管されているAWS Config のログを調査する方法を調べましたが、今回はAWS CloudTrail のログを調査する方法を調べてみました。 blog.serverworks.co.jp おさらい AWS CloudTrail AWS CloudTrail と…

Amazon Athenaを利用してS3に保管されているログを調査する - AWS Config編 -

CI部1課の山﨑です。 今回はAmazon Athenaを利用してS3に保管されているAWS Config のログを調査する方法を調べてみたので整理します。 おさらい AWS Config AWS Config とは AWS Config のログの種類 Amazon Athena Amazon Athena とは S3のログを調査して…

AWS利用料の明細をAthenaに取り込む

こんにちは、マツシタです。 みなさん、ご存知ですか?当社の「カスタマーポータル」というAWS請求代行サービス利用のお客様がAWS利用料を確認できるサイトの名前が「AWS利用料金確認ページ」と変わりました。確かに、利用料金の確認や利用明細のダウンロー…

【S3】Athena を使用して S3 のアクセスログを分析

エンジョイ AWS! サーバーワークス エンジニアの伊藤Kです。 冬。温かい飲み物と、ケーキが美味しい季節です。 最近、 この記事 でS3のサーバーアクセスログを見る機会がありましたが、 S3のサーバーアクセスログは、ログが出力されるS3のバケット内に、1行…

Athenaのパーティションプロジェクションを利用してCloudTrailのログ検索をする

CloudTrailのログをS3に保存することがあります。 その検索にはAthenaが便利で、導入もマネージメントコンソールから簡単にできます。 しかし、マネージメントコンソールの指示にしたがって導入すると、検索速度やコストの面で問題が発生します。 これを解決…

CloudTrail のログを Lambda から Athena を使って解析してみる

こんにちは。ポインコと暮らしている高橋です。 こどもの日は兄がAmazonで購入した室内用こいのぼりを揚げてくれました。 AthenaにCloudTrailのログを取り込む、というのは以前当社blogで紹介済みでした。 紹介時の2016年12月時点では、クエリを実行してClou…

Athenaを使ってVPC Flow Logsを解析する

実はSQL文が好きな鎌田です。 Athena、みなさんはもうご利用でしょうか。Athenaを使うとS3バケットの様々なログをSQLをかけて解析することができます。 今回は、VPC Flow LogsをAthenaで検索する方法をご紹介します。 VPC Flow LogsのログをS3に出力するよう…

AWS WAFのログをAthenaで整形する

渡辺です。 少し前になりますが、2018年8月末に一部WAF界隈で衝撃が走りました。 AWS WAFは全てのセッションのログが取得できなかったのですが、それが可能になったというニュースです。 AWS WAF の包括的なログ記録機能が新たに利用可能に ログの取得方法は…

CSVファイルをS3とAthenaを使って、データを取得

技術課の森です。 今回は、2つのCSVに対して、クエリを発行して、一覧を表示したいと思い、やったことを書いてみます。 はじめに 今回使うAWSリソースはS3とAthenaの2つ。 S3にあるファイルを基に、Athenaでテーブルを作成して、クエリを発行する感じです…

サーバーレスのクエリサービス「Amazon Athena」のチュートリアルでS3上のログを集計してみる

こんにちは。技術1課@大阪オフィスの柏尾です。 今回はre:Inventで発表された「Amazon Athena」について書いてみようと思います。(re:Inventの動画はこちら) Amazon Athena とは Amazon Athenaはまとめると、下記のようなサービスです。 Athenaは新しいサ…

Amazon Athena に CloudTrailのログを取り込んでみた

カスタマーサポート課の伊藤です。 re:InventでAmazon Athenaが発表されました。お客さまのサポート対応の中でCloudTrailのログを確認したいというシーンはよくあるのですが、CloudTrailは通常のテキストログではなくJSON形式なので人間にとってはなかなか読…