みなさんこんにちは。技術研究課の山田です。

前回の記事では PgerDuty の基本的な機能と使い方をご紹介しました。今回は弊社が提供しているサービス、Cloud Automator と PagerDuty を組み合わせた便利な使い方をご紹介します。

Cloud Automator は AWSの運用を自動化するためのサービスで、AWSの運用に欠かせないバックアップ、インスタンスの起動 / 停止など、様々なオペレーションを自動化します。また、当然ですがユーザが登録したジョブは必ず実行されるような非常に信頼性の高い作りになっています。

しかし、ユーザが登録するジョブの内容によってはジョブが異常終了する場合もあります。例えば、「インスタンスA とインスタンスB を Start するジョブ」を Cloud Automator へ登録していて、あるタイミングでインスタンスB が必要無くなったためインスタンスB だけを削除したとします。

この状態で上記ジョブを実行すると、インスタンスBが削除されているにも関わらずインスタンスBの Start 処理が実行されるためジョブは異常終了となります。

Cloud Automator を利用することで、手動による運用の手間を減らして人為的ミスのない運用が可能になります。が、ジョブの登録作業などの「人の手で作業する箇所」はどうしてもミスが発生してしまいます。

今回は、「Cloud Automator で異常終了したジョブを PagerDuty のエスカレーションポリシーに従って複数ユーザにアサインされて通知が届く」というフローで、異常終了に早く気づく、見逃さない仕組みを作ってみましょう。

さらに、PagerDuty ではインシデント発生時に webhook のイベントを発火させる事も可能なので Slack にも同時に通知してみます。

PagerDuty のサービスを作成する

まずは前回の記事と同じく、PagerDuty のサービスを作成します。上部メニューバーの Configuration -> Services をクリックし、Add New Service をクリックします。

各項目を入力していきます。

Name : Service へ設定する名前を入力

Notification Urgency : このサービスから発生するインシデントの緊急度を選択します。今回は High で設定します。

Integration Type : どういう形で通知の受け口を用意するのかという設定です。今回は Amazon CloudWatch を選択します。

Escalation Policy : 前回の記事で作成したポリシーを選択します。

すべての項目を入力後、Add service をクリックして Service を登録します。

Amazon SQS でキューを作成する

Cloud Automator のジョブが失敗した際にメッセージを送信するためのキューを作成します。 AWSのサービスメニューより、SQS を選択します。

Create New Queue をクリック、キューの名前を入力して Create Queue をクリックします。今回は ca-fail-job というキューを作成しました。

Cloud Automator でジョブを作成する

Cloud Automator でジョブを作成します。ジョブ作成ウィザードのステップ6で、 失敗時に実行結果をSQSメッセージで送る にチェック。キュー名は、先程作成したキューを選択します。

Zapier でレシピを作成する

Zapier で Cloud Automator と PagerDuty を連携させるためのレシピを作成します。

Zapierは色々なWebサービス間の処理を連携してくれるサービスです。サービスの詳細については下記URLをご参照ください。

Zappier - https://zapier.com/how-it-works/

1. トリガーとアクションの設定を行います

指定したキューに新しいメッセージが入っていた際に、PagerDuty 側でトリガーを発生させたいのでトリガーアプリケーションには Amazon SQS を選択し、トリガーに New Message を選択します。そして、アクションアプリケーションには PagerDuty を選択し、アクションに AddTrigger Event を選択します。