2021-08-01から1ヶ月間の記事一覧

ALBのターゲットグループにALBは設定できない

AS部 古川です。 本記事では、ALBのターゲットグループにALBは登録できないことについて記載します。 背景 方針 ALBを使用(NGパターン) Nginxでリバースプロキシ さいごに 背景 以下のマイクロサービスアーキテクチャにB/Gデプロイを実装するために、様々な…

AWS Glue Python Shell ジョブで CSV → Parquet 変換する ETL を実装する

はじめに こんにちは。アプリケーションサービス部 河野です。 最近 Glue の Python Shell ジョブを初めて触ったのですが、その際に検証した ETL 実装について備忘録として記載します。 検証では、以下処理を実行する単一の Python Shell ジョブを実装しまし…

Macで動画を録画(Blackhole + QuickTime Player)

入社時から使っていたMacBook Pro(2016 Late)がミーティング中に文字が打てないレベルまできたので、 M1 MacBook Proを購入して色々やってるのですが、自分で作った発表スライドを録画することになりました。 やり方は色々あるのですが、Blackhole + QuickTi…

Trend Micro Cloud One Conformity の自動修復機能をAWS環境で試してみた

概要 当エントリーでは、CSPM(Cloud Security Posture Management)製品の Trend Micro Cloud One - Conformity (以後 Conformity) の自動修復機能を設定手順と動作イメージを自分の備忘も兼ねて情報として残します。 概要 はじめに 導入手順 1.READMEの指定…

【ANGEL Dojo】振り返り

はじめに ANGEL Dojoとは 自信をもって人前へ「リハする」 コンセプト サービス概要 学んだこと Working Backwardsの考え アジャイル・スクラム開発 まとめ 追記 はじめに PE部の谷です。 AWSJ様が主催するANGEL(APN Next Generation Engineer Leaders)Doj…

【初心者向け】unittestライブラリを使ってPythonテストコードを書いてみる

はじめに テストコードってなに unittest 書いてみる まとめ はじめに PE部谷です。 テストコードという言葉は聞いたことあるけど、書いたことがなかったので、初めて調べてみました。 Pythonにはテストをサポートしてくれるライブラリがいくつかあるようで…

Zappa で内部 ALB を作成するまでの道のり

はじめに こんにちは。アプリケーションサービス部の保田(ほだ)です。 たまに Python 製の軽量サーバーレスアプリケーションのデプロイツールである Zappa を使う場面があるのですが、誰も Frank Zappa の話をしないので少し寂しいです。 ちなみに Pound f…

AWS Clinet VPNの接続を通知する(Macの場合)

自分はAWS Clinet VPNを接続した後、よく切り忘れます。 切り忘れないように通知センターに通知されまくるようにしました。

プライベート API Gateway にカスタムドメインを設定したい

はじめに こんにちは。アプリケーションサービス部の保田(ほだ)です。 最近二度寝にハマっています。安心して二度寝するために一度目は5時ぐらいに起きるのがポイントです。 そんな訳で今回はプライベート API に何とかしてカスタムドメインを割り当てる方…

【バックアップ】AWS BackupでRDSのバックアップを取得する

こんにちは、CI部 柿﨑です。 最近はダイエットに励んでおります! 今回はAWS BackupでRDSのバックアップを取得していこうと思います。 数か月前に自動バックアップにも対応し、たまたま使用する機会があったため、記事に残すこととしました。 AWS Backupの…

ドメインコントローラーでセッションマネージャーを使う前に必要な設定

こんにちは、SWX3人目の熊谷(悠)です。 困ったので備忘として残します。 結論 ユーザー名がssm-userのアカウントを作成しておく (アカウントのパスワードはポリシーに抵触しなければ何でも良い) 環境 ・AWSで公式のクイックスタートAMIを使用しました。 …

Datadog Agent導入時注意事項(ドメインコントローラー等)

こんにちは、SWX3人目の熊谷(悠)です。 ADよく分かってない私がよく調べもせずドメインコントローラーにインストールしようとしてハマったので備忘として残しておきます。 実は本当に書きたかった記事は本稿で、WindowsにDatadog Agent導入は前座だった。 …

【初心者向け】構築したFSx for Windowsの設定をPowershellからやってみた

こんにちは! クラウドインテグレーション部(CI部)技術2課の反町です。 Amazon FSx for Windows File Serverを構築してクォータなどの設定をする機会があったのですが、ところどころはまった部分があったので注意点を含めつつ、設定手順を紹介したいと思い…

【サンプルコマンドあり】ElastiCache(Redis)の パラメータグループまとめ

はじめに ElastiCache(Redis) のパラメータグループについてまとめました。 Memcached は触ってないので、今回は対象外です。 追加でわかったことがあれば追記します。 記事目安...5分 はじめに ElastiCache(Redis) パラメータグループとは? パラメータグル…

SSMエージェントの自動アップデート設定

EC2インスタンスの運用には、AWS Systems Manager(以下、SSM)の活用が重要です。 SSMの動作には、EC2インスタンスのOS上で amazon-ssm-agent が起動している必要があります。 amazon-ssm-agentは頻繁にアップデートされているので、各インスタンスに手動で…

SSM を活用し m5 から m6i へ Windows Server 2019 のインスタンスタイプを変更する

CI部佐竹です。 本日は東京リージョンで利用可能となった m6i インスタンスへとインスタンスタイプを変更する作業を実際に検証してみました。第6世代の利用には ENA のドライバーバージョンが v3 以上の必要があるという制限から、SSM Automation ドキュメン…

【気をつけよう!】はじめての無限ループ

CI部の古川(と)です。最近はゴーヤにはまっています。 ITの世界に足を踏み入れ1年4か月経ち、初めて「無限ループ」を体験しました。 とても恐ろしかったです。 本ブログは自分に対する戒めと共に無限ループには気をつけようという啓蒙を意図しています。 …

【初心者向け】Gitの概要とコマンドをちょっと紹介

こんにちは。AWS CLIが好きな福島です。 はじめに Gitとは GitHubとは Gitの仕組み ステージングエリアの必要性 Gitのコマンド config configの一覧 configの設定 configの取り消し init status add ステージングエリアへファイルの追加 ステージングエリア…

M6i インスタンスが東京リージョンで利用可能になりました

CI部 佐竹です。 本日は恒例の「東京リージョンで構築可能なインスタンスタイプのアベイラビリティーゾーン別一覧表」の更新ブログとなります。本ブログの最新情報については上記リンクより最新記事をご参照ください。 はじめに 結果(アベイラビリティーゾー…

【Organizations】 主要なガバナンス・セキュリティサービスを組織で一括で有効化する

最近ランニングを始めたCI部2課の山﨑です。 今回はOrganizationsを用いたAWS環境を構成する上で、主要なセキュリティサービスを組織で一括で有効化する方法を整理しました。 はじめに Organizations組織への展開イメージ セキュリティサービスの設定方法一…

EKSノードにデプロイ可能なPod数をDatadogで監視する

CI部の村上です。 今回はEKSのノードにデプロイ可能なPodの数をDatadogで見てみたという話です。 はじめに 今回検証した環境 ノードにデプロイできるPod数に制限があるのはなぜか インスタンスタイプごとの最大Pod数 実際に確かめてみる そもそも監視する必…

AWS Config Aggregator を委任してマルチアカウント&マルチリージョンの評価を集約する

CI部 佐竹です。本日は、AWS Organizations に統合された AWS Config をメンバーアカウントに委任した後、AWS Config アグリゲーターを活用したデータ集約の設定方法について記載します。AWS Config Rules の状況を組織(Organization)でまとめて閲覧された…

コードの関数設計

はじめに 関数名 処理内容を想像できる名前をつける 具体的な意味の英単語を使う まとめ はじめに PE部の谷です。 関数名や変数名、ファイル名をどうすれば良いか悩むことが多々あるので、調べてみました。 関数名 処理内容を想像できる名前をつける 関数名…

Serverless Framework で Lambda の Provisioned Concurrency を設定する

はじめに こんにちは。アプリケーションサービス部の柳田です。 Serverless Framework を使って、Lambda の Provisioned Concurrency を設定する機会があったため、設定手順と確認したことを記載します。 また、細かい説明は省略しますが「Serverless Framew…

CloudFormationのCLI実行ツール Rain

はじめに Rain Rainとは おすすめポイント 使ってみた インストール テンプレート作成 デプロイ 削除 まとめ はじめに PE部の谷です。 先日、AWS CloudFormationを触っていたら、たまたまRainというCLI実行ツールがあることを知りました。 使ってみたら便利…

【PySpark入門】第7弾 PySpark運用Tips!

PySparkスクリプトを書くときに、知っておいたらいい概念とポイントをまとめました。

【PySpark入門】第6弾 Spark SQLを使ってみよう

PySpark SQLの簡単な紹介と、実際PySpark SQLを使ってみます。

【PySpark入門】第5弾 DataFrameとは?

PySparkで使用されるDataFrameというオブジェクトがどのようなものなのかを見てみます。

Amazon Cognitoの送信元のメールアドレスを独自のドメインにしたい

こんにちは!技術2課、濱岡です。 最近、カメラがついている耳かきを買いました。 耳かきをやりすぎることが多いのですが、これを買ってからやりすぎて傷がついたってのが減りました。 さて、今回はAmazon Cognitoの送信元メールアドレスを変更する方法をや…

数字で見る Amazon Connect 社内導入効果

こんにちは。Amazon Connect専任担当の丸山です。 今回はサーバーワークスの代表電話をAmazon Connectに変更してどのように効率化できたのかを数字で共有させていただきます。 代表電話のAmazon Connect化 オフィスにおける電話対応の背景 Amazon Connect導…

ECS タスク起動と SSM 登録を自動連携してみる

雨の日が気持ち良い季節ですね。 プロセスエンジニアリング課の礒です。こんにちは。 今回は ECS Fargateタスクに SSM からログインしたい方向けのTipsをご紹介します。 概要 まず、Amazon EC2 (以下 "EC2" )インスタンスや Fargate コンテナに AWS Systems …

M6i インスタンス 登場、M5 より価格あたり15%の性能向上でお値段据え置き

CI部 佐竹です。 本日は恒例の「東京リージョンで構築可能なインスタンスタイプのアベイラビリティーゾーン別一覧表」の更新ブログとなります。本ブログの最新情報については上記リンクより最新記事をご参照ください。 はじめに M6i インスタンス発表 M6i の…

SCP を活用してマネジメントコンソールにログイン可能な IAM ユーザの作成を禁止する

CI部 佐竹です。 本日は AWS Organizations の SCP を活用し、ジャンプアカウント以外のアカウントで「マネジメントコンソールにログイン可能な IAM ユーザ」の作成を組織レベルで禁止してみます。

【PySpark入門】第4弾 実戦!RDDを操作してプログラムを作ってみる

RDDのAPIを使って簡単なプログラムを作ってみます。

セキュリティグループIDが明確な場合に、対象に設定変更を加える手順

概要 当エントリーでは、セキュリティグループIDが明確な場合に、当該セキュリティグループのルールに設定変更を加える手順について記載します。 概要 セキュリティグループIDとは 作業手順 前提 1.対象セキュリティグループの特定と現状の確認(全ケース共通…

【Cloud Automator】ログの詳細ページにて操作対象のインスタンス名を確認できるようになりました

Cloud Automatorでジョブの実行後、ログの詳細ページにて、操作対象のEC2インスタンスのインスタンス名を確認できるようになりました。

【Amazon Connect】オペレータへ接続するまでの間、お待たせアナウンスをする設定

概要 対応可能なオペレータがおらず、お客様にお待ちいただくシーンで、アナウンス+保留音を繰り返す設定を紹介します。 Amazon Connectの問い合わせフローの仕組みを少し理解している必要があるのと、設定画面イメージ付きだと伝わりやすいと思いますので…

Config Rule のConformance Packs(適合パック)をOrganizationsでマルチアカウント/マルチリージョンに展開する

Amazon Primeにドはまり中のCI部2課の山﨑です。 前回はConfig Rule のConformance Packs(適合パック)を単一アカウント上でデプロイしましたが、今回Organizationsでマルチアカウント/マルチリージョンに展開してみます 事前準備 Organizations組織への展開…

Amazon Redshiftの監査ログを別アカウントのS3へ設定する方法

こんにちは!技術2課、濱岡です。 最近、ものすごく暑いですが、皆様いかがお過ごしでしょうか? 私は暑くなると無性にカレーが食べたくなります。 しかもスパイシーなカレーが食べたくなる、、、暑さには変えられない、、、、 さて、今回はAmazon Redshift…

Config Rule のConformance Packs(適合パック)を使ってパッケージ単位でConfig Ruleを管理する

自宅にサウナが欲しいCI部2課の山﨑です。 AWS Configの1つの機能であるConfig Rulesをパッケージ化したConformance Packs(適合パック)を使ってパッケージ単位でConfig Rulesを管理する方法を検証してみました AWS Configとは AWS Config Rulesとは 機能 構…

暗号化していないAmazon RDSを暗号化する方法

こんにちは!技術2課、濱岡です! 最近、ぼっちテントを購入しました。 家で仕事をする時はぼっちテント内で仕事してます。 視界が遮れるので集中して仕事ができておすすめです。 さて今回は暗号化していないAmazon RDSを暗号化する方法をやってみます。 は…

EC2インスタンス(Linux)にマネージメントコンソールからSSH接続する方法TOP3

EC2インスタンスで起動したLinuxへウェブブラウザでマネージメントコンソール経由でSSHする方法がいくつかあります。TOP3と言っておきながら2021/08現在では3つしかないのですが、今回はそれぞれの利用シーン・制限/制約について簡単に整理したいと思います…

Security HubをOrganizationsでマルチアカウント/マルチリージョンで有効化する

朝散歩にハマっているCI部2課の山﨑です。 今回はSecurity HubをOrganizationsでマルチアカウント/マルチリージョンに展開してみました。 Organizations組織への展開イメージ 前提 検証 Management Account から委任先アカウントへSecurity Hubの管理権限を…

Amazon EC2にPython 3・serverless framework環境を構築する

EC2上にPython3とserverless frameworkの環境を構築します。 言語のバージョン管理ができるように、anyenv・pyenv・nodenvを使います。

AWSのホワイトペーパーから学ぶ AWS Organizations における推奨 OU 構成

CI部 佐竹です。 本日は、AWSのホワイトペーパー(白書)を読みながら、AWS Organizations の OU に関するベストプラクティスを学びたいと思います。 はじめに Organization (組織) SCP (サービスコントロールポリシー) エンティティ Root OU (organizationa…

Lambda でバッチ処理を構築する際のエラー通知パターン 5選

はじめに パターン1. 直接Publish パターン メリット デメリット パターン2. DLQパターン メリット デメリット パターン3. 失敗時送信先パターン メリット デメリット パターン4. メトリクスフィルターパターン メリット デメリット パターン5. サブスクリプ…

DynamoDB のストレージ容量を自力で取得する方法が分かったかもしれない

はじめに こんにちは。アプリケーションサービス部の保田(ほだ)です。 最近 Future Funk なる音楽ジャンルにハマっており、仕事中 BGM としてずっと流しています。 というわけで今回は DynamoDB のストレージ容量を自力で算出することを試みます。 注意: …

コマンドプロンプトで文字列に引用符を使用する際の注意点

はじめに 起きたエラーと経緯について エラーメッセージについて エラーの原因 ダブルクォートへ修正後のコマンド結果 まとめ はじめに コマンドプロンプトで、AWS CLIを利用した際に発生したエラーについて調べたことをまとめます。 起きたエラーと経緯につ…

Helmでデプロイ先のEKSクラスターを指定する

EKS

CI部の村上です。 小ネタ的な記事ですが、掲題の件について紹介します。 前提 Helmとは Helmのインストール Kubeconfigとは 環境設定について EKSクラスターの状態 kubeconfigの設定 Helmのバージョン test02のEKSクラスターにデプロイしたい場合どうするか …

【PySpark入門】第3弾 RDDの理解

RDDとは何かおよびRDDオブジェクトに対して使用できるAPIを紹介して、実際データを操作してみましょう。