EventBridge で配信に失敗したイベントをデッドレターキューに入れてみる

こんにちは。技術課の山本です。 EventBridge を使い、様々なイベントを起点にして、AWSサービス同士を接続することがよくあると思います。 後続のサービスにイベントを配信しようとして失敗することも、稀にあります。 本記事では、イベントの配信に失敗し…

Fluent Bit の複数行フィルターを使って、ECS on Fargate のタスクから出る複数行のログを1レコードに連結する。

こんにちは。 技術課の山本です。 ECS on Fargate のタスクから出る1つのログが、複数行になるときの話です。 Cloud Watch Logs に出力すると、1行ごとに1レコード出来てしまいます。 ログ監視をしていると、検知した部分の1レコード(=ログの1行のみ…

ECS on Fargate で awslogs ログドライバーの "awslogs-multiline-pattern" オプションを使ってみる。

こんにちは。 技術課の山本です。 Fargate タスクのログ出力で困っていることがあり、"awslogs-multiline-pattern" オプションを試してみたのですが、java の場合だと解決策にならなそうでした。 誰かの役には立ちそうなので、検証したことを書き残します。 …

新しい "Service Connect" 機能と「サービス検出」の相違点

こんにちは。 技術課の山本です。2023年1つ目の記事です。今年もよろしくお願いします。 ECSサービスの名前解決を提供する機能の選択 要点 Service Connect の名前解決方式 サービス検出 の名前解決方式 App Mesh の名前解決方式 新しい "Service Conne…

Aurora Serverless v2 の最大接続数 (max_connections)を計算しよう。

Aurora Serverless v2 の最大接続数 (max_connections)を計算しよう。

Powershell で S3 にフォルダーをアップロードしてみる。(AWS Tools for PowerShell を使用。)

こんにちは。 技術課の山本です。 冬ですね。 今年も雪山に行って、純白な気持ちになっています。 Powershell で S3 にフォルダーをアップロードしてみる。(AWS Tools for PowerShell を使用。) S3 バケットの作成 SNS トピックの作成 IAM ユーザーの作成 AW…

2023年 4月から順次、S3 の ブロックパブリックアクセスが デフォルトで有効になります。

こんにちは。 技術課の山本です。 最近は冬山シーズンが来て、テンションが上がっています。 手始めに乗鞍岳に登りました。最高でした。 今年は色々な冬山に挑戦しようと思っています。 2023年 4月から順次、S3 の ブロックパブリックアクセスが デフォルト…

AWS Managed Microsoft AD を共有する(Transit Gateway 編)

こんにちは。技術課の山本です。 秋も終わり、冬の澄んだ空気になってきましたね。 背景 Amazon RDS for SQL Server で SQL Server Reporting Services (SSRS) を有効にする方法について、検討していました。 「オンプレADの認証情報を使って、SSRS を利用し…

Amazon RDS for SQL Server の データベースバックアップを毎日取得する。

こんにちは。 技術課の山本です。 秋も深まり、もう初冬の様相ですね。 11月10日に富士山5合目(富士宮)までの車道が冬季通行止めになると聞いて、出勤前にサラッと富士山に登ってきました。 マイナス6度の割と寒い中で見る朝焼け、そして雲海に感動し、…

Transit Gateway を使用して、AWS Network Firewall Endpoint の集約を考えてみる。

技術課の山本です。 近所の南アルプスでも紅葉が始まっていました。 Transit Gateway を使用して、AWS Network Firewall Endpoint の集約を考えてみる。 AWS Network Firewall を使用して、VPC内の通信を監査することが増えてきたように感じます。 そこでよ…

Amazon MWAA (Amazon Managed Workflows for Apache Airflow) で ECS タスクを起動するジョブを作成して動かす。

こんにちは。 山が好きな山本です。 紅葉シーズンですね。 仙ノ倉山から見る平標山、遠くに苗場山。2021/10 ジョブ管理ソフトウェア Airflow のマネージドサービスである、Amazon MWAA (Amazon Managed Workflows for Apache Airflow) を検証しています。 環…

S3 でのファイル保管料金を、プラン毎に比較してみる。+ S3 Intelligent - Tiering の設定方法。

こんにちは。 「日本百名山」ではなく、「マイナー12名山」を全て登ることを目指している山本です。 ススヶ峰から望む赤倉岳(マイナー12名山)。※このあと雷と吹雪で撤退し登頂ならず。 S3 の Intelligent-Tiering について、弊社の佐竹が以下の記事で…

Amazon MWAA (Amazon Managed Workflows for Apache Airflow) のタイムゾーンを東京に変更する。

こんにちは。 技術課の山本です。 そろそろ雪が恋しいです。 Amazon MWAA を使用しているとき、DAGファイル内の"start_date"や"end_date"を日本時間で設定したいことがあると思います。 また、出力ログも可能な限り、日本時間の方がログを探す時にも便利です…

Amazon CloudFront の Origin Access Identity を Origin Access Control (OAC) に切り替える。Terraform編。

こんにちは。 技術課の山本です。 夏休みは北アルプスをお散歩していました。お気に入りの黒部五郎岳です。 以下の記事で、Amazon CloudFront の Origin Access Identity を Origin Access Control (OAC) に切り替える方法をご案内しました。 blog.serverwor…

Amazon CloudFront の Origin Access Identity を Origin Access Control (OAC) に切り替える。

こんにちは。 技術課の山本です。 秋が近いですね。 先日、2022 年 8 月 25 日に 「Amazon CloudFront が Origin Access Control を提供するようになりました。」というアナウンスがありました。 aws.amazon.com S3 バケットで公開しているコンテンツを、Clo…

AWS の Personal Health Dashboard に届く AWS からのメンテナンス通知を、 Organizations の管理アカウントで各アカウント分一括管理して、 Slack に通知する。

こんにちは。 技術課の山本です。 山を歩いていて、遠くから視線を感じると思っていたら、オコジョに見られていました。モテ期も近いようです。 AWS の Personal Health Dashboard には、 AWS からメンテナンス通知や障害通知などが来ます。 AWS の ユーザー…

Amazon MWAA (Amazon Managed Workflows for Apache Airflow) のネットワーク構成と料金の概算。

こんにちは。 長野県の燕岳に登ったところ、親子の雷鳥に出くわした山本です。とても可愛かったです。 Amazon MWAA (Amazon Managed Workflows for Apache Airflow) のネットワーク構成と料金の概算。 Amazon MWAA の検証をしています。 Amazon MWAA のネッ…

API Gateway (HTTP API) のJWTオーソライザー と Cognitoユーザープールを使って OAuth 2.0 の "Client Credentials Grant" を実装する

こんにちは 技術課の山本です ゴールデンウィークは群馬にある至仏山に登ってきました 降雪後の朝焼け前に登り始めたので人の足跡も無い静かな世界でした 「仕事を頑張ってまた山に行くぞ」 と気持ちを新たにしました API Gateway (HTTP API) のJWTオーソラ…

AWS CLI を使用して CloudWatch のロググループ から ログを検索する

山本です こんにちは そろそろ冬が終わってしまいますね さて CloudWatch のロググループ から ログを検索したいということはよくあるかと思います AWSマネジメントコンソールから検索できます 「JSONで出力して加工したい」といった要件から AWS CLI を使っ…

Lambda関数で最大10GBのエフェメラルストレージを使用可能になりました

山本です 山は良いですね Lambda関数で最大10GBのエフェメラルストレージを使用可能になりました 今まで Lambda を使うときには /tmp 領域に 512 MB までファイルを置くことができました 今回のアップデートで 10240MB (10GB) までファイルを置くことができ…

Amazon EKS で コントロールプレーンのログ記録を有効にした際に Kubernetes API サーバーのログに「Auditing failed of request: encoding failed:」と記録される (対象:Kubernetes v1.21以前のバージョン)

こんにちは 技術課の山本です。 春も近いですね。 残雪の富士山がきれいです。 やったこと Amazon EKSクラスターを最新バージョンの 1.21 で作成しています 以下のドキュメントを参考にコントロールプレーンのログ記録を有効にしてみました docs.aws.amazon.…

AWS CodeBuild でローカルキャッシュを使用する場合の注意点

冬も終わりですね 写真は谷川岳ロープウェイからの谷川岳です 前提 AWS の Code系サービスを使った ソースコード管理・ビルド(コンパイル)・デプロイ(環境への展開) は 基本的に以下の図のようになります 正式なサービス名: AWS CodeCommit 、AWS CodeBuild…

AWS Network Firewall のルールグループと評価の流れを詳細に理解する ※ハマりポイントも解説しています

こんにちは 奥秩父で膝丈まである残雪を 気付いたら9時間ラッセル(雪をかき分けて進むこと)していた 技術課の山本です 夕日が最高でした 本記事は以下を理解して分かりやすく発信します 本記事に書かないこと AWS Network Firewall の仕様 (公式ドキュメント…

アップデートされた ECS の UpdateService API を Fargateで 試してみる

こんにちは 春の訪れを喜びつつ冬の思い出が頭を駆け巡ってしまう技術部の山本です 2月の 横岳 (杣添尾根) ECS の UpdateService API がアップデートされました 3/10のアップデート aws.amazon.com UpdateService API のドキュメント UpdateService - Amazon…

AWS CloudShell で長時間の処理をするのはなかなか難しいという話

こんにちは 春が近いですね いつかの桜 さて本題です AWS CloudShell ではどれくらい長時間の処理ができるのか? (仕様の確認) ドキュメントを見てみましょう Limits and restrictions for AWS CloudShell - AWS CloudShell Shell sessions ・Inactive sessi…

Fargate利用時のヘルスチェックを理解する

Fargateクラスターに適切なヘルスチェックをするための仕様理解

ECSのサービス検出を理解する

こんにちは 技術課の山本です 雪が続くと夏山が恋しくなりますね 天狗岳(八ヶ岳) そして久保史緒里さんオールナイトニッポンのメインパーソナリティー就任おめでとうございます さて本題です ECSのサービス検出機能(サービスディスカバリ)について 改めて理…

CloudFront が AWS-managed prefix list に対応しました

どうもこんにちは 技術課の山本です 休日は山に登っています 山中湖パノラマ台付近 そして新内眞衣さん卒業おめでとうございます(これを言いたくてブログを書きました) さて本題です CloudFront が AWS-managed prefix list に対応しました aws.amazon.com p…

EKS on Fargate を Terraform で作成する

山の写真を 1枚 瑞牆山から八ヶ岳を見る @2021/12 EKS on Fargate を Terraform で作成する 意外とブログが無いので書くことにしました EKSクラスターを Terraform を使って作成し Pod を全て Fargate を使って起動するまでの流れになります EKS on Fargate …

CodeCommit のリポジトリに Dockerfile をpush すると CodeBuild が docker build して コンテナイメージを作成し ECR のリポジトリに push する仕組みの構築方法 (docker build の自動化)

CodeCommit のリポジトリに Dockerfile をpush すると CodeBuild が docker build して コンテナイメージを作成し ECR のリポジトリに push する仕組みの構築方法 (docker build の自動化)

AWS DMS を使って Aurora Postgres ⇔ Aurora Postgres 間で継続的レプリケーションをする

こんにちは 山本です 秋になり紅葉も始まってきましたね 標高の高い山では一足早く紅葉が来て去っていきました 写真は先月の仙ノ倉山です 電波も入らない山奥に行き 何も考えずに景色を楽しみながら歩き続けるのは至福の時間です AWS DMS を使って Aurora Po…

AppStreamとAWS SSOを連携! VPC内にプライベートIPアドレスを使って公開している管理用サイトをAppStreamから見れるようにして AWS Single Sign-On を使ってユーザーを管理してみた

こんにちは! 山が好きな山本です 好きな山は仙ノ倉山(せんのくらやま)と瑞牆山(みずがきやま)です 最近は仙ノ倉山の紅葉を見てきました この記事に書くこと AWS Single Sign-On サービスを体験してみるために 以下の仕組みを作ってみることにしました 目的…

VPCエンドポイントポリシーの運用について本気出して考えてみた

おはこんばんちは! クラウドインテグレーション部の山本です 乃木坂46 と 山登り と サウナが好きです 愛してます 今日は「VPC エンドポイントポリシー」についてです VPCエンドポイントポリシーとは? VPCエンドポイントに付けるポリシーです そのVPCエン…

Amazon FSx for Windows と AWS Managed Microsoft AD で Windows用のファイルサーバを作って EC2 から接続しよう②作成手順

作成する構成 以下になります 本記事の概要につきましてはお手数ですが以下の記事をご参照ください Amazon FSx for Windows と AWS Managed Microsoft AD で Windows用のファイルサーバを作って EC2 から接続しよう①概要説明 作成の大まかな流れ AWS Managed…

Amazon FSx for Windows と AWS Managed Microsoft AD で Windows用のファイルサーバを作って EC2 から接続しよう①概要説明

作成する構成 以下になります 「※ EIP を利用し パブリックIPアドレスを固定する (自動割当パブリックIPを使わない) 」という箇所に関しまして補足します EC2 の作成時にパブリックIPアドレスを付与しない場合には 「ドメイン結合ディレクトリ」を指定しても…

ALB 配下の EC2 インスタンスを Active Standby 構成(自動切り替え)にする

ELB 配下の EC2 インスタンスを Active Standby 構成にする.md mermaid.initialize({ startOnLoad: true, theme: document.body.classList.contains('vscode-dark') || document.body.classList.contains('vscode-high-contrast') ? 'dark' : 'default' }); …

Mac ユーザーが Amazon WorkSpaces (Windows) で仕事をするためにやったこと

mermaid.initialize({ startOnLoad: true, theme: document.body.classList.contains('vscode-dark') || document.body.classList.contains('vscode-high-contrast') ? 'dark' : 'default' }); 今週から実験的にAmazon WorkSpaces (Windows) を使って仕事を…

CloudFront のオリジンへ直接アクセスさせない方法まとめ

mermaid.initialize({ startOnLoad: true, theme: document.body.classList.contains('vscode-dark') || document.body.classList.contains('vscode-high-contrast') ? 'dark' : 'default' }); CloudFront を利用する際に オリジンの Webサーバ に 「CloudFr…

S3 に置いたコンテンツを CloudFront を利用 してインターネットに公開する方法まとめ

S3 に置いたコンテンツをインターネットに公開する際に https 化や キャッシュ保持、WEBサーバ ( API Gateway など )とのURL共有 を考えると 自然と候補に上がるサービスは CloudFront です S3 に置いたコンテンツを CloudFront を利用して インターネットに…

S3 に置いたコンテンツを CloudFront を利用 してインターネットに公開する方法まとめ ( A )CloudFront のオリジンに Amazon S3 バケットを使用する方法

本記事の概要につきましては大変お手数ですが 以下のブログをご参照ください S3 に置いたコンテンツを CloudFront を利用 してインターネットに公開する方法まとめ ( A ) CloudFront のオリジンに Amazon S3 バケットを使用する方法 本記事で作成するのは以…

S3 に置いたコンテンツを CloudFront を利用 してインターネットに公開する方法まとめ ( B ) CloudFront のオリジンに Amazon S3 バケットの静的ウェブサイトホスティングエンドポイントを使用する方法

本記事の概要につきましては大変お手数ですが 以下のブログをご参照ください S3 に置いたコンテンツを CloudFront を利用 してインターネットに公開する方法まとめ ( B ) CloudFront のオリジンに Amazon S3 バケットの静的ウェブサイトホスティングエンドポ…

Slackのリマインダー機能とカスタムレスポンス

こんにちは!クラウドインテグレーション部技術2課の山本です 皆さんはサウナ行ってますか?私は行ってます!!!!サウナはいいぞ〜〜〜 今日はSlackのリマインダー機能の話です Slackのリマインダー機能 (/remind) ご参考:リマインダーを設定する Slackの…

AWS Systems Manager で「コマンドの再実行」が可能になっていました

AWS

こんにちは! AWSをこよなく愛す技術4課の山本(通称ヤマゾン)です 昨日は実質9.2時間くらい寝ました AWS Systems Manager で「コマンドの再実行」が可能になっていました AWS Systems Manager で「コマンドの実行」を行った後の画面に、「コマンドの再実行」…

Googleカレンダの予定開始3分前になったら、予定開始まで1分毎に、Slackにメンション付き通知するGASスクリプト

こんにちは! AWSをこよなく愛す技術4課の山本(通称ヤマゾン)です 昨日は実質9.2時間くらい寝ました この記事を書くことになった背景 弊社はGoogleカレンダーを使って、社内の予定を管理しています Googleカレンダーは予定の時間が近づくと、通知(リマインド…

Fargateコンテナの利用するPublic IPアドレスを固定する

こんにちは! AWSをこよなく愛す技術4課の山本(通称ヤマゾン)です 昨日は実質9.1時間くらい寝ました Fargateコンテナの利用するPublic IPアドレスを固定する 以下のような前提があり、Fargateコンテナの利用するPublic IPアドレスを固定することにしました …

AWS Service Quotas (サービスクォータ) を使ってみた

AWS Service Quotas (サービスクォータ) って何? こんにちは! AWSをこよなく愛す技術4課の山本(通称ヤマゾン)です 11月にSAPro取るぞ AWS Service Quotas (サービスクォータ) のリリースアナウンスを読んでみましょう AWS Service Quotas がリリースされま…

AWS Systems Manager のポートフォワーディング機能がリリースされました

こんにちは! AWSをこよなく愛す技術4課の山本(通称ヤマゾン)です 昨日は実質9時間くらい寝ました 今日は、AWS Systems Manager(以下、SSM)の新機能について紹介します セッションマネージャーを使用したローカルポートとリモートポート間のトラフィックの転…