【初心者向け】Amazon CloudWatch Logsについてまとめてみた

こんにちは！現在テクサポ課（いわゆるサポート問い合わせの課）でOJT中の日高です！

Amazon CloudWatchって機能が多くて混乱しちゃいますよね....
ってことでCloudWatchについてIT初心者がまとめてみたシリーズの第２弾です。

第１弾としてAmazon CloudWatch Metricsについてまとめているのでよかったらご覧ください！！ blog.serverworks.co.jp

今回はAmazon CloudWatch Logs（今後はCloudWatch Logsと記載）について見ていきたいと思います。

サービスの概要
サービスの詳細
- サービスで登場する概念
- サービスの機能
  - フィルタについて
    - サブスクリプションフィルタ
    - メトリクスフィルタ
  - Logs Insights
まとめ

サービスの概要

CloudWatch Logsは、独自のアプリケーションや各種AWSサービスのログを収集して監視や保存を行うサービスです。
利用方法としてはAmazon EC2 インスタンスおよびオンプレミスサーバーにCloudWatch エージェントをインストールし設定を行うことで利用を開始できます。
お気づきになられた方もいらっしゃると思いますが、オンプレミス上のサーバーからログを収集することも可能になっています！

本記事ではCloudWatch エージェントのインストール方法等については触れず、CloudWatch Logsのサービスの全体像を理解してもらうことを目的にします！
ただCloudWatch エージェントのインストール方法が気になる方は、該当のドキュメントを記載しておくので確認してみてください。

docs.aws.amazon.com

サービスの詳細

本記事で理解していただきたいCloudWatch Logsの全体像の構成を先に記載させてもらいます。

サービスで登場する概念

ログイベント

ログイベントとは、アプリケーションやAWSサービスにより出力されたログの内容です。
例として、VPCフローログのログイベントを見てみましょう。（数字等はランダムに記載しています）

2022-12-07T17:08:58.000+09:00 2 (アカウントID) eni-×××××××14a5 〇〇.〇〇.〇〇.〇〇　〇〇.〇〇.〇〇.〇〇　40355 443 6 1 40 153432428 42624244 ACCEPT OK

このように1つのログインベントはレコード単位で記録され、タイムスタンプ（2022-12-07T17:08:58.000+09:00）とログメッセージ（タイムスタンプ以降の文字列）で構成されています。

ログストリーム

ログストリームはEC2インスタンスなど同じソース上から、出力されたログイベントの集まりです。

ロググループ

複数のログストリームを集めたものです。
１つのロググループに1つ以上のログストリームが存在しています。

サービスの機能

フィルタについて

CloudWatch Logsでは特定の文字列をフィルタによってログを抽出したり、抽出したログをLambda等に転送できます。
また、ログをCloudWatch Metrics上のメトリクスとして集計することも可能です。
具体的には「サブスクリプションフィルタ」と「メトリクスフィルタ」の２つがあります。

サブスクリプションフィルタ

特定の文字列をフィルタリングし、Lambda、OpenSearch Service、Kinesis Data Streams、kinesis Data Firehoseに連携することが可能です。（2022年12月13日現在）
サブスクリプションフィルタを活用することで、上記のAWSサービスと連携してログの分析や可視化、S3へのログの長期保存が実現できます。

ただ注意点として以下の２つがあります。
①１つのロググループにつきサブスクリプションフィルタは２つまでという制約がある（※変更はできない）
②文字列のフィルタリングに正規表現が利用できない