Dockerを使ったPySparkを動かす環境を構築する方法をご紹介します。

Sparkの特徴、PySparkの概要およびユースケースをご紹介します。

「そのAWSアカウントの管理は私の担当では無いんですけど、そこにあるEC2インスタンス1台だけは運用保守しなくちゃいけないんです。」 AWS Systems Managerなら可能です！ ハイブリッドアクティベーションを利用しましょう。 Systems Manager は、通常はAWS…

CI部 柿﨑です。 IPv4 CIDRの追加、IPv6の有効化が必要なVPCを作る機会がございました。 CFnで書くのに少し苦戦したため、備忘録的に記載します。 作るものは以下です。 VPC (IPv4 CIDRの追加、IPv6の有効化) IPv4 追加CIDRは192.168.1.0/24 IPv6 CIDRはAmaz…

Amazon Connectってクラウド型のイケてるコンタクトセンターサービスなんだよね？ 通話のステータス管理みたいなことってできるよね？ そう思うお気持ち、わかります。 しかし、Amazon Connect単体ではできないのです。 こんな質問を受けたとき少し心苦しい…

こんにちは。アプリケーションサービス部の河野です。 タイトル付けに悩んだのですが、CloudFormation(以下 Cfn)の Parameters, Condition, AWS::NoValue を使用したテンプレート記法のお話です。 導入 タイトルで実現したいことを記載しているのですが、そ…

CI部の古川（と）です。 最近はトマトに砂糖をかけて食べるのが好きです。 今回はAWS Elastic Beanstalk（以下、Elastic Beanstalk）にてAmazon EC2（以下、EC2）が起動しない！という現象に遭遇したので、その原因について書いていきたいと思います。 はじ…

こんにちは。AWS CLIが好きな福島です。 はじめに 注意点 カスタムメトリクスの設定 スケーリングポリシーの設定 設定ファイルの作成 スケーリングポリシーの設定 動作確認 終わりに はじめに AutoScalingは、負荷に応じてEC2をスケーリングすることが可能で…

こんにちは。AWS CLIが好きな福島です。 はじめに エラーの見方 対処方法の前に 対処方法 リソースを絞りたい場合 リソースを絞らない場合 終わりに はじめに 突然ですが、AWSを触っている時に、以下のようなエラーに遭遇したことは、ないでしょうか。 ※見や…

こんにちは。AWS CLIが好きな福島です。 はじめに JSONの見方 固定の記述 Sid Effect Action Resource Condition 終わりに はじめに 突然ですが、IAMポリシーは、JSONで表示および設定することができますが、 JSONで書かれているとなんとなく難しく感じ、敬…

Cloud Automatorでジョブの実行に失敗した場合に、ログの詳細ページで「発生した原因」と「対処方法」が確認できるようになりました。

July Tech Festa 2021 に登壇しました。RDB のインデックスについて理解を深めていきたい、という内容で喋りました。

概要 何故に依頼が発生したのか よくある業務連携フロー ケース1.お客様管轄のドメイン名で名前解決してAWS環境へ接続させたい場合 よくある名前解決のためのレコード登録パターン (1-1) Elastic Load Balancing のCNAMEレコードの登録 登録するDNSレコード …

こんにちは！サーバーワークスの松井です！ AWSを運用しているとIPアドレスを制限したい時が多くあると思います。 その場合セキュリティグループに大量にCIDRブロックを設定しないといけないですよね。 そんな時に使える大量のセキュリティグループのルール…

こんにちは！サーバーワークスの松井です！ サーバーレスでAPIを作成し 、WEBページからボタンを押してAPIを実行させてみようという記事になります。 このハンズオンは、VScodeでEC2にRemortSSHをして実施していただくことを想定しております。 AWSでEC2を起…

こんにちは！ クラウドインテグレーション部（CI部）技術2課の反町です。 今回は、AWS Systems Managerを利用することで踏み台を利用せずにローカル環境からプライベートな環境にあるEC2に接続することができて、「便利だなあ...」と感じたので、接続準備や…

こんにちは！ クラウドインテグレーション部（CI部）技術2課の反町です。 今回は、Client VPN を自分のタブレットであるAndroid端末とPCのWinsdows端末からつないでみました。 Android端末からだとAWS公式のクライアントアプリが利用できないので、GooglePla…

こんにちは。AWS CLIが好きな福島です。 今回は、私が勘違いしていたことをブログに記載いたします。 はじめに 参考 ログの出力方法 ①監査ログ RDS for MySQLの場合 Aurora for MySQLの場合 ②全般ログ ③スロークエリログ 終わりに はじめに 結論をお伝えする…

CI部 佐竹です。 本日は AWS Budgets に関する権限について記載します。 新しい AWS Budgets のコンソールがリリース エラーの発生原因 まとめ 新しい AWS Budgets のコンソールがリリース AWS Budgets のマネジメントコンソールが新しくなり、視認性が良く…

はじめに 全体像 部分解説 インストールコマンド RHEL 7.xの場合 RHEL 8.xの場合 Agentの有効化 さいごに はじめに SRE2課の篠﨑です。 今回はEC2インスタンス作成の際に使うUserdataでSSM Agentを入れる方法について書いていこうと思います。 Amazon Linux…

CI部 佐竹です。 本日は EC2 インスタンスのメンテナンス（イベント）通知に関するちょっとしたオプション「イベント通知メールにタグを含める」について記載します。通知メールにタグが付与されることで調査の手間が削減されます。是非とも EC2 インスタン…

はじめに アップデート内容 AWS Step Functions にて Workflow Studio 機能が新登場 AWS Lambda が Amazon MQ for RabbitMQ をイベントソースにサポート AWS AppConfig の設定プロファイルで異なるバージョンの比較ができるように AWS Application Migration…

CI部 佐竹です。 本日は Aurora のストレージについて、特に運用目線で知っておく必要がある CloudWatch メトリクスを解説します。今回は FreeLocalStorage, VolumeBytesUsed, AuroraVolumeBytesLeftTotal について記載しています。

はじめに アップデート内容 ①Amazon Athenaでパラメーター化したクエリを使用できるように ②Amplify Admin UIで既存のAmazon Cognito ユーザープールとIDプールのインポートをサポート はじめに こんにちは！サーバーワークスの小林です。 今回は、 7/7のア…

こんにちは、サービス開発課の丸山です。 今回はRubyの小ネタの紹介です。 Hashの構造を検査するための方法いろいろ アプリケーションを書いていると、Hashの構造を確認してバリデーションしたい場合があると思います。 例えば、引数で渡されるあるHashが次…

CI部の鎌田です。 Secrets Manager、もうお使いでしょうか。 Secrets Managerを利用することで、データベースへの接続情報をプログラムで保持せずとも良くなりアプリケーションの保守性が良く出来る他、認証情報の定期的な更新なども行うことが出来る便利な…

はじめに アップデート内容 ①Amazon EKS マネージドノードグループで、ワーカーノードの並列アップデートが可能に ②AWS Glue Studioで、データプレビューの確認が可能に ③AWS Elemental MediaPackageがメタデータ・パススルー機能を拡張 ④AWS Launch Wizard…

はじめに アップデート内容 ①AWS AmplifyでフルスタックCI/CD機能が追加 ②AWS Amplify CLIでLambda関数で使用される環境変数とシークレットの保存ができるように ③AWS Glue DataBrewでジョブからデータセットをAWS Glue Data Catalogに直接書き込みができる…

IAM Groupに関連する情報をテキスト出力したい 様々な事情で、テキストファイルに出力したいことありますよね。 今回は、そんな時に役立つ情報を提供します。 なお、WindowsPowershellを利用します。

こんにちは。SRE3課の島村です。 今回はWorkSpacesをSystems Managerのマネージドインスタンスとして登録する手順をご紹介します。 ご存知の通り、Systems Managerは運用管理として非常に強力なサービスです。 Systems Managerの機能を利用するには、SSM Age…

こんにちは、技術1課 長崎です。 表題の通り、やり方のまとめを記載します。 Session Managerは、Systems Manager(以下SSM)の機能の一つです。 前提 全体の流れ 手順 Account B(EC2インスタンスがいるAWSアカウント)の準備 IAMロールの作成 EC2のポリシー設…

CI部 佐竹です。 運用していたら通る道、EC2 インスタンスのメンテナンススケジュール。今日はこれについて少し記載してみます。 はじめに EC2 の Events から確認する PHD から確認する メンテナンス通知を Slack へ連携する イベントの種類と対応方法 inst…

概要 Amazon Connectを利用するために、管理機能画面を利用して設定を行いますね。 設定するにあたって、「ルーティングプロファイルとキューの関係ってどんなだっけ？」とか、「発信するときの電話番号ってどう特定するんだっけ？」と迷うことはありません…

はじめに アップデート内容 AWS Storage Gateway が 大阪リージョンで利用可能に Amazon ECS 用 Bottlerocket AMI が利用可能に Amazon WorkSpaces アンドロイドクライアントアプリで、セルフサービス管理機能が利用可能に AWS Solutions Implementation に …

こんにちは。AWS CLIが好きな福島です。 はじめに 結論 注意点 ①SCP適用前のAWSアカウントが対象 ②全AWSアカウントが対象 SCPのポリシー 解説 ①自動割り当てパブリック IPを有効にした場合、EC2を作成させない制限 自動割り当てパブリック IPを無効にしなけ…

CI部 佐竹です。 本日は Google Chrome で HAR を取得する方法を記載します。 はじめに HAR ファイルの取得方法 デベロッパーツールを起動する HAR ファイル記録の前準備を行う HAR のレコーディング開始後、事象を再現させる HAR ファイルをダウンロードす…

はじめに アップデート内容 ①AWS Firewall Managerが大阪リージョンで利用可能に ②IAMポリシー作成中にIAM Access Analyzer機能でポリシー内の条件のチェックを追加 ③AWS System ManagerのSession Managerコンソールでフリーテキスト検索をサポート ④Apache …