kashiwaoの記事一覧

ETLツール「Talend」でS3署名バージョン2廃止に対応する方法
TalendのS3コンポーネントと「S3署名バージョン2廃止」の影響 「S3の署名バージョン2 廃止にAWS CLIやSDKをバージョンアップせずに対応する方法を調べてみた」 「S3の署名バージョン2 廃止に対応する方法を調べてみた(Embulk S3プラグイン編)」 に引き続き、ETLツールである、Talend で提...
S3の署名バージョン2 廃止に対応する方法を調べてみた(Embulk S3プラグイン編)
S3の「署名バージョン2」廃止と、サードパーティツールのS3プラグインへの影響 「S3の署名バージョン2 廃止にAWS CLIやSDKをバージョンアップせずに対応する方法を調べてみた」 に関連して、S3を利用するサードパーティツールへの影響についても調べてみました。 S3はデータのETL処理(Extraction Tr...
S3の署名バージョン2 廃止にAWS CLIやSDKをバージョンアップせずに対応する方法を調べてみた
S3における「署名バージョン2」が2019年6月24日に廃止されます 下記リンクに記載があるとおり、S3へのAPIリクエスト時の「署名バージョン2」が廃止され、「署名バージョン4」のリクエストのみを受け付けるようになります。 Amazon S3 における AWS 署名バージョン 2 の廃止 https://docs.a...
AWS Database Migration Service(DMS)入門 その3(データ移行編)
この記事は1年以上前に書かれたものです。内容が古い可能性がありますのでご注意ください。 技術課の柏尾です。 「準備編」「スキーマ変換編」に続き、今回は「AWS DMS レプリケーションインスタンス」を利用したデータ移行を試してみたいと思います。 AWS DMS レプリケーションインスタンスの作成 AWS マネジメントコ...
AWS Database Migration Service(DMS)入門 その2(スキーマ変換編)
この記事は1年以上前に書かれたものです。内容が古い可能性がありますのでご注意ください。 技術課の柏尾です。 前回の「準備編」に続き、今回は「AWS スキーマ移行ツール(AWS Schema Conversion Tool)」を利用したスキーマ変更を試してみたいと思います。 事前準備 事前設定でJDBCドライバの設定をし...
AWS Database Migration Service(DMS)入門 その1(準備編)
この記事は1年以上前に書かれたものです。内容が古い可能性がありますのでご注意ください。 技術課の柏尾です。 AWS Database Migration Service(DMS)が発表されてから随分経ちますが、自分はまだ使ったことが無かったので、下記のAWSのドキュメントで提供されているチュートリアルを利用して学習して...
API Gateway+Lambda環境でのCloudWatchメトリクスとアラーム設定のはなし
この記事は1年以上前に書かれたものです。内容が古い可能性がありますのでご注意ください。 こんにちは。技術1課@大阪オフィスの柏尾(小4から重度の花粉症)です。 そろそろ花粉が飛び始めているようで、一度くしゃみが出ると止まらなくなります。 というわけで、 花粉症緩和する納豆「すごい納豆 S-903」 がとても気になってい...
API Gateway+Lambdaでのステージ管理やCloudWatch Logsのログ運用のはなし
この記事は1年以上前に書かれたものです。内容が古い可能性がありますのでご注意ください。 こんにちは。技術1課@大阪オフィスの柏尾(前厄)です。 年明けから下の子(1歳)が突発性発疹、長男→妻→自分の順番でインフルエンザにかかってしまい、年始早々大変でした。私はクラウドワークスタイル制度を利用し、ほぼ在宅勤務なこともあり...
サーバーレスのクエリサービス「Amazon Athena」のチュートリアルでS3上のログを集計してみる
この記事は1年以上前に書かれたものです。内容が古い可能性がありますのでご注意ください。 こんにちは。技術1課@大阪オフィスの柏尾です。 今回はre:Inventで発表された「Amazon Athena」について書いてみようと思います。(re:Inventの動画はこちら) Amazon Athena とは Amazon ...
「Treasure Data」でビッグデータ分析をクラウドで、シンプルに!
この記事は1年以上前に書かれたものです。内容が古い可能性がありますのでご注意ください。 こんにちは!技術1課@大阪オフィスの柏尾です。 久々のブログになってしまいましたが、今回は「Treasure Data」について書いてみようと思います。 以前から名前は知っていたものの、サーバーワークスに入ってから初めて使うことにな...
AWS運用自動化サービス「Cloud Automator」