S3

Tagged
ETLツール「Talend」でS3署名バージョン2廃止に対応する方法
TalendのS3コンポーネントと「S3署名バージョン2廃止」の影響 「S3の署名バージョン2 廃止にAWS CLIやSDKをバージョンアップせずに対応する方法を調べてみた」 「S3の署名バージョン2 廃止に対応する方法を調べてみた(Embulk S3プラグイン編)」 に引き続き、ETLツールである、Talend で提...
Lambda・SESを使って、添付ファイル付きメールを送信する
渡辺です。 S3バケットにあるファイルをメールで毎月1回送信すべしというお仕事が発生しました。 パッと思いついた実装方法は以下となります。 CloudWatch Events ルールのスケジュール式 で毎月1回Lambda Function を動かす。 Lambda Functionの実装 S3バケットにある指定ファイ...
S3でデータ整合性をチェックする
S3バケットに対してファイルをアップロードしたり、S3からファイルをダウンロードする際に気になるのが、ファイルの同一性(データ整合性)。転送中にファイルが破損していないか、ハッシュ値を用いて確認することが一般的です。 S3ではどのようにして実現できるでしょうか。 AWS CLIでのアップロード AWS CLIにはS3オ...
CyberduckでS3にファイルをアップロードする時の注意点
この記事は1年以上前に書かれたものです。内容が古い可能性がありますのでご注意ください。 こんにちは、技術3課の峯です。 今回はCyberduckを利用しS3にファイルをアップロードする時の注意点について紹介したいと思います。 Cyberduckとは? CyberduckとはFTPクライアントソフトで、GUIで簡単に操作...
特定S3バケットに対してのみアクセスを許可したい
この記事は1年以上前に書かれたものです。内容が古い可能性がありますのでご注意ください。 指定したS3バケットだけアクセスさせたいしバケット一覧も見せたくない! 多くの利用者さんが一つのAWSアカウントを使っているが、それぞれの利用者さんには指定したS3バケットにだけアクセスさせたい、ということがあると思います。 しかし...
異なる AWS アカウントの S3 バケットに Lambda からエンドポイント経由でアクセスする
この記事は1年以上前に書かれたものです。内容が古い可能性がありますのでご注意ください。 技術 1 課の山中です。 今日、屋上で作業をしようとおもって上がったら、小雨が降っていてすぐに断念しました。 というわけで、本日は異なるアカウントの S3 バケットに対して VPC エンドポイント経由でアクセスしてみたいとおもいます...
Windowsのフォルダとs3バケットを定期的に同期させる
この記事は1年以上前に書かれたものです。内容が古い可能性がありますのでご注意ください。 今回はWindowsのフォルダにあるファイルを定期的にs3バケットに同期させる方法について書きます。ベタな内容とは思いますが、日頃はMacやLinuxな方には新鮮な内容かもしれません。 前提とする環境 ・s3バケットは作成済み・Wi...
運用手順書の運用をカイゼンする – Excel方眼紙は卒業できるのか –
この記事は1年以上前に書かれたものです。内容が古い可能性がありますのでご注意ください。 こんにちは。マネージドサービス課の橋本です。 近年の将棋界は話題豊富で素晴らしいですね。最近のトピックだと 藤井聡太「六段」が誕生 藤田綾女流二段が入籍 名人戦、史上初の6人プレーオフ このあたりが話題を呼びました。 藤田綾女流二段...
AWS CLIのS3へのファイル転送コマンドとオプションのポイント
この記事は1年以上前に書かれたものです。内容が古い可能性がありますのでご注意ください。 技術四課の鎌田(裕)です。 S3へのログファイルの転送に、AWS CLIやをお使いになることを検討される方は多いことでしょう。 aws s3 cpのコマンドでファイルをS3にコピーは出来る訳ですが、Linuxのcpコマンドを同じ感覚...
AWS運用自動化サービス「Cloud Automator」