Amazon Athena
はじめに 前提 AuroraMySQL情報 検証で使用するテーブル 本エントリーで触れないこと S3エクスポート実行手順 S3エクスポートタスク作成に必要なリソースの作成 DBクラスターデータ保存先S3バケットの作成 S3エクスポートが使用するIAMロールの作成 IAMロー…
こんにちは。AWS CLIが好きな福島です。 はじめに 概要図 解説 手順 ①リソースのデプロイ ②Athena(Glue)のセットアップ ③DynamoDBへのサンプルデータの登録 ④DynamoDBのエクスポート ⑤動作確認 終わりに はじめに 今回は、DynamoDBのデータをAthenaで分析す…
こんにちは、末廣です。 皆様 Amazon Managed Grafana 使っていますでしょうか？ 本ブログでは Amazon Managed Grafana から別アカウントに存在する CloudFront や ALB のログを Athena でクエリする方法を紹介します。 検証を行う環境と前提条件 アカウント…
初めまして24卒の新卒の池上です。今回は初めてブログの記事を投稿するので、現在勉強しているAWS認定AWS Certified Cloud Practitioner（クラウドプラクティショナーバージョンはCLF-002）の勉強で私自身が間違えた部分やつまづいた部分、興味を持って学習…
エンタープライズクラウド部の松田です。こんにちは。 今回はパーティションを活用して、マルチアカウント環境における、AWS CloudTrailログの検索を高速化する方法をご紹介します。 1. はじめに 2. 事前準備 クエリ結果の場所を設定する データベースを作成…
結論 Athena APIコール数のクォータとは？ GetQueryExecutionのクォータがやたら高い…なぜ？ 調査結果 まとめ 熱中症を防ぐため塩水を飲むようになった前田(青)です。 お客様からAmazon Athena APIのコール数の制限（クォータ）についてお問い合わせがあり、…
こんにちは 技術課の山本です。 初めてAthena のクエリで WHERE 句を使用した際に、少しハマったので書き残します。 まず、テーブル "test" を作成しました。 no (int型) kind (string型) name (string型) 1 fruits apple 2 fruits banana 3 fruits peach 4 …
AWS CloudTrail を有効にしてS3にログを保存しているものの、保存しっぱなしでうまく活用できていないケースがおおいため、 S3に保存してあるCloudTrail のログを検索する方法をご紹介します。
こんにちは。AWS CLIが好きな福島です。 はじめに 第1弾 第2弾 第3弾 概要図 AthenaとQuickSightのイメージ図 参考 ⑩QuickSightでデータの可視化(可視化アカウントで実行) 権限を付与するユーザーの確認 データソースの作成 データセットの作成 v_config_ec2…
こんにちは。AWS CLIが好きな福島です。 はじめに 第1弾 第2弾 第3弾 概要図 参考 ⑦可視化したい情報ごとに様々なビューの作成(可視化アカウントで実行) すべての AWS Config リソースのビューの作成 すべての EC2 インスタンスのビューを作成 すべての VPC …
こんにちは。AWS CLIが好きな福島です。 はじめに 第1弾 第2弾 第3弾 参考 可視化のイメージ 概要図 前提 ①ConfigSnapshotの出力設定(各アカウントで実行) ConfigSnapshotの確認 ConfigSnapshotの設定 設定ファイルの作成 設定ファイルを基にConfigSnapshot…
こんにちは、エンタープライズクラウド課の加藤ゆです。 AthenaとGlueの料金ページを解読するのがつらかったので、まとめてみました。 なお当記事に記載する情報は、2023年3月1日現在のものです。 最新料金体系は記載の公式ドキュメントをご確認ください。 A…
こんにちは、クラウドインテグレーション部の加藤ゆです。 Athenaを利用してデータ検索を実施する際に、Athenaエディタを利用グループ毎で管理したいときや、裏で利用するGlueの実行権限を限定したいときはないでしょうか。 今回は、AthenaとGlueのアクセス…
こんにちは、CI2部の加藤ゆです。 Amazon Athenaにワークグループなるものがあるのをご存じですか？ 本記事ではワークグループについて、概要を記載します。 そもそもAthenaとは 機能１：保存したクエリ 機能２：クエリ履歴 ワークグループとは？ なにがうれ…
こんにちは、CI2部の加藤ゆです。 Athenaを利用したデータ分析を実施するための環境準備作業をやっていきます。 Amazon Athena とは？ AWS Glueとは？ Glue Data Catalog Glueクローラ AthenaとGlueの関係 本記事でやること 前提条件 作業手順 １．Database…
CI2部 技術2課の山﨑です。 7月にAmazon Athena がパラメータクエリをサポートしましたので簡単にご紹介したいと思います。 おさらい Amazon Athena とは？ アップデート概要 パラメータクエリを実行できるようになりました これまでのクエリとの比較 パラメ…
はじめに 前提知識 Amazon Athena テーブル データベース やってみよう 事前準備 データベースを作成する テーブルを作成する 分析 上から10件のレコードを取得する カロリーが高い順にレコードを取得する タンパク質（g）が２以上の野菜を多い順に取得する …
はじめに この記事は、AWS Security Blog に掲載されている「Automate Amazon Athena queries for PCI DSS log review using AWS Lambda」を日訳したものです。 本記事で掲載しているのは、あくまでもレビューするための監査ログを自動で準備する観点のノウ…
こんにちは、屋根裏エンジニアこと 技術1課の折戸です。 前回に引き続きS3ログを集計する方法について、 今回は その② 少し複雑な条件で集計したい 場合の方法についてご紹介します。 集計条件 その② 少し複雑な条件で集計したい Athena クエリ結果の場所用…
CI部1課の山﨑です。 これまでAmazon Athenaを利用してS3に保管されているAWS Config/AWS CloudTrail のログを調査する方法を調べましたが、今回はVPC Flow Logs のログを調査する方法を調べてみました。 blog.serverworks.co.jp blog.serverworks.co.jp お…
CI部1課の山﨑です。 前回はAmazon Athenaを利用してS3に保管されているAWS Config のログを調査する方法を調べましたが、今回はAWS CloudTrail のログを調査する方法を調べてみました。 blog.serverworks.co.jp おさらい AWS CloudTrail AWS CloudTrail と…
CI部1課の山﨑です。 今回はAmazon Athenaを利用してS3に保管されているAWS Config のログを調査する方法を調べてみたので整理します。 おさらい AWS Config AWS Config とは AWS Config のログの種類 Amazon Athena Amazon Athena とは S3のログを調査して…
こんにちは、マツシタです。 みなさん、ご存知ですか？当社の「カスタマーポータル」というAWS請求代行サービス利用のお客様がAWS利用料を確認できるサイトの名前が「AWS利用料金確認ページ」と変わりました。確かに、利用料金の確認や利用明細のダウンロー…
エンジョイ AWS！ サーバーワークス エンジニアの伊藤Kです。 冬。温かい飲み物と、ケーキが美味しい季節です。 最近、 この記事 でS3のサーバーアクセスログを見る機会がありましたが、 S3のサーバーアクセスログは、ログが出力されるS3のバケット内に、1行…
CloudTrailのログをS3に保存することがあります。 その検索にはAthenaが便利で、導入もマネージメントコンソールから簡単にできます。 しかし、マネージメントコンソールの指示にしたがって導入すると、検索速度やコストの面で問題が発生します。 これを解決…
こんにちは。ポインコと暮らしている高橋です。 こどもの日は兄がAmazonで購入した室内用こいのぼりを揚げてくれました。 AthenaにCloudTrailのログを取り込む、というのは以前当社blogで紹介済みでした。 紹介時の2016年12月時点では、クエリを実行してClou…
実はSQL文が好きな鎌田です。 Athena、みなさんはもうご利用でしょうか。Athenaを使うとS3バケットの様々なログをSQLをかけて解析することができます。 今回は、VPC Flow LogsをAthenaで検索する方法をご紹介します。 VPC Flow LogsのログをS3に出力するよう…
渡辺です。 少し前になりますが、2018年8月末に一部WAF界隈で衝撃が走りました。 AWS WAFは全てのセッションのログが取得できなかったのですが、それが可能になったというニュースです。 AWS WAF の包括的なログ記録機能が新たに利用可能に ログの取得方法は…
技術課の森です。 今回は、２つのCSVに対して、クエリを発行して、一覧を表示したいと思い、やったことを書いてみます。 はじめに 今回使うAWSリソースはS3とAthenaの２つ。 S3にあるファイルを基に、Athenaでテーブルを作成して、クエリを発行する感じです…
こんにちは。技術1課@大阪オフィスの柏尾です。 今回はre:Inventで発表された「Amazon Athena」について書いてみようと思います。（re:Inventの動画はこちら） Amazon Athena とは Amazon Athenaはまとめると、下記のようなサービスです。 Athenaは新しいサ…
カスタマーサポート課の伊藤です。 re:InventでAmazon Athenaが発表されました。お客さまのサポート対応の中でCloudTrailのログを確認したいというシーンはよくあるのですが、CloudTrailは通常のテキストログではなくJSON形式なので人間にとってはなかなか読…
