ETLツール「Talend」でS3署名バージョン2廃止に対応する方法
TalendのS3コンポーネントと「S3署名バージョン2廃止」の影響 「S3の署名バージョン2 廃止にAWS CLIやSDKをバージョンアップせずに対応する方法を調べてみた」 「S3の署名バージョン2 廃止に対応する方法を調べてみた(Embulk S3プラグイン編)」 に引き続き、ETLツールである、Talend で提...
CUIでGmail
はじまり こんにちはCI部の千葉です。 当社では、お客さまとのコミュニケーションには Backlog 、社内のコミュニケーションには Slack を使っているので多くのエンジニアは日々の業務でメールを利用しません。 とは言え、名刺にメールアドレスを書いているのでメールチェックしない。ってワケにもいかないのでWebブラウ...
S3の署名バージョン2 廃止に対応する方法を調べてみた(Embulk S3プラグイン編)
S3の「署名バージョン2」廃止と、サードパーティツールのS3プラグインへの影響 「S3の署名バージョン2 廃止にAWS CLIやSDKをバージョンアップせずに対応する方法を調べてみた」 に関連して、S3を利用するサードパーティツールへの影響についても調べてみました。 S3はデータのETL処理(Extraction Tr...
Datadogでブラウザテスト機能がリリースされました!
Datadogでブラウザテスト機能がリリースされました! こんにちは。佐藤です。 最近、Datadogをつかってます。Datadogでブラウザテストの機能がリリースされましたので、記事にします。 Datadog公式ブログにも記事が書かれていますね。 User experience monitoring with Dat...
Marketplace(Centos.org)提供CentOS7AMIのマイナーバージョンを調べてみた(2019/4/15現在)
こんちには、技術3課の城です。 当社ではAWS環境でLinuxを利用する多くのケースでAmazonLinux2をお勧めしています。 ただ、アプリケーション要件により、どうしても他のOSを利用する必要がある場合があります。 先日も、とある案件にてCentOS7を利用する必要があり、かつ動作保証のマイナーバージョンが限られ...
DSaaSのライセンス超過時の動作を確認した
Trend MicroのDSaaS(Deep Security as a Service)で消費ライセンスをどうカウントしているかが気になったので検証してみました。 検証環境 5台分のライセンスがあり、コンピュータ5台を保護対象し、すでにライセンスを使い切っている状態です。 ちなみにトライアルライセンスで検証しているの...
Lambda上でAWSCLIを動かしてS3 Syncする
こんにちは、技術一課の加藤です。   AWS CLIのS3 Sync、便利ですよね。 コピー元とコピー先の付き合わせやバージョンの比較など、Sync処理において面倒だな、と思うことを全部端折ってくれるS3 Syncは、まさにバケット間のデータ移動の最適解といえるでしょう。   しかしこれを定期実行したい、となるとやや面...
[EC2]東京リージョンで構築可能なインスタンスタイプのアベイラビリティーゾーン別一覧表
CS課佐竹です。 前回は「IAMに関する話」を記載させて頂きましたが、今回はEC2になります。 はじめに EC2には様々なインスタンスタイプ(Instance Type)が存在します。実際にどのくらい種類があるかというと、「こちら」のドキュメントを(可能ならEnglishで)ご確認ください。凄く・・・多いです。そして、...
AWSで始める機械学習その1『Comprehend Customを使おう!』
AWSではマネージドな機械学習サービスが様々提供されています。 ComprehendやTranscribe等で、ユーザーがInputを与え簡単に機械学習で予測することはもちろん、SageMakerで しかし、私のような機械学習初心者からすると、いきなりSageMakerを使うのはハードルが高く、ComprehendやT...
【DynamoDB/Boto3入門】DynamoDBでアトミックカウンタを実装しつつ更新式について学ぶ。
こんにちは、技術一課の加藤です。 先日、特定条件のファイルの個数をカウントするために、DynamoDBを使ったアトミックカウンタを実装しました。 こりゃー便利だと思うと同時に、DynamoDBのUpdateItemについてある程度わかっていないとちょっとだけ困るなあと感じたので、実装手順や注意点を備忘録的に書き残してお...
IAMユーザにMFA設定を強制するにあたりiam:ListUsersが必須では無くなった話
CS課佐竹です。 はじめに 皆様、IAMユーザにMFAを強制されているでしょうか? MFA とは Multi-Factor Authentication の略称で、日本では「多要素認証」や「2段階認証」と呼ばれています。このMFAを弊社ではお客様環境での作業にあたり、全員が 仮想 MFA デバイス を必須として作業をし...
S3の署名バージョン2 廃止にAWS CLIやSDKをバージョンアップせずに対応する方法を調べてみた
S3における「署名バージョン2」が2019年6月24日に廃止されます 下記リンクに記載があるとおり、S3へのAPIリクエスト時の「署名バージョン2」が廃止され、「署名バージョン4」のリクエストのみを受け付けるようになります。 Amazon S3 における AWS 署名バージョン 2 の廃止 https://docs.a...
【Cloud Automator】APIでのジョブ作成においても「リソースの終了ステータスチェック」がデフォルトでONになりました
以下の記事でご案内しました通り、Cloud Automatorにおきまして、本日12時よりAPIを利用したジョブの作成においても「リソースの終了ステータスチェック」がデフォルトでONが指定されるように変更されましたので、お知らせいたします。 【告知】APIでのジョブ作成においても「リソースの終了ステータスチェック」がデ...
【AWS Organizationsアップデート!】SCPで柔軟な設定が可能に!- Conditionを設定して「特定のロールのみEC2の操作ができる」ようにしてみた –
 こんにちは、サーバーワークスのこけしの人、坂本(@t_sakam)です。本日、Organizationsの機能アップデートが発表されました。このアップデートで、いままでざっくりとした設定しかできなかったSCP(サービスコントロールポリシー)で「Resource」や「Condition」の設定ができるようになり、柔軟な...
【Pythonスクリプト】アカウント内のCloudFormationスタックを全部一気に削除保護する
こんにちは。3月より技術1課に正式配属となりました加藤和也です。 研修、OJTの1年間を経てついに配属です。頑張るしかねぇ。 さて今回は、アカウント内にあるCloudFormation(以後、CFn)スタック全ての削除保護を有効化するスクリプトを作成したので、気をつけるポイント含め共有していきます。 CFnスタックの削...
ActiveDirectory環境でSSMをVPCエンドポイント経由で利用する際の注意点
こんにちは、技術3課の城です。 今回はAWSでActiveDirectory(以降、AD)環境にてSSMを利用する上でハマったポイントがあったので、共有したいと思います。 最初にまとめの3行 長くなりそうなので、最初にまとめておきます。 SSMをVPCエンドポイント経由で利用するにはAmazonProvidedDNSで...
AWS CLIでEBSボリュームにタグ付けする
こんにちは、技術3課の城です。 3月で期が変わりまして、技術4課⇒技術3課に異動となりました。 さて、以前に当社渡辺がということで下記紹介してますが、AWS CLIでも簡単にやれますよ、というところをお見せしたいと思います。 EBSにタグをつけるスクリプトを作った 渡辺のものとは若干趣向を変えて、NameタグからEBS...
AWS運用自動化サービス「Cloud Automator」