Amazon S3

S3 Select で CSV ファイルをクエリしてみた

アプリケーションサービス部の宮本です。 今回は S3 Select の検証をしたのでご紹介します。 はじめに S3 Select とは 料金 検証 事前準備 クエリ実行 日本語対応は? 関数 注意点 まとめ 参考 はじめに S3 Select とは Amazon S3 Select では、シンプルな構…

LINE のトーク上に送信した画像を S3 にアップロードする

こんにちは。アプリケーションサービス部 河野です。 またまた LINE 関連のテーマで恐縮ですが、今回は、LINEのトークで送信した画像を S3 にアップロードする機能を実装してみます。 今回作成するもの LINEから画像を送信すると、S3フォルダに画像をアップ…

S3料金の調べ方

AWSアカウントのS3の料金を AWS Cost Explorer と Amazon S3 Storage Lensを使って分析してみました。 まずはCost Explorerで確認 どのサービスが高いか S3のどの料金タイプが高いか どのリクエストが高いか どのバケットが高いのか S3 Storage Lensも使って…

Amazon S3 の PrivateLink が他のサービスと異なるたった1つの点

SRE部 佐竹です。 本ブログでは S3 の PrivateLink (Interface 型 VPC Endpoint) が他のサービスの PrivateLink と異なるたった1つの点について SSM を比較対象として記載しました。たった1つしか異なる点はないのですが、これにより他のサービスと異なり使…

AWS PrivateLink for Amazon S3を分かりやすく解説してみる

杉村です。待望のアップデートがありました。 Amazon S3 用の PrivateLink (Interface 型 VPC Endpoint)です! 従来までも Gateway 型と呼ばれるタイプの S3 用 VPC Endpoint は利用できましたが、今回は Interface 型の VPC Endpoint が利用可能になりまし…

【小ネタ】S3サーバーアクセスログを有効化しているのにいつまで経ってもログが格納されない!!もしかしたら暗号化が影響しているかも

突然ですが、S3のサーバーアクセスログを有効化にしていますか? docs.aws.amazon.com 設定も簡単、CloudTrailより安価、ということで、とりあえず有効化しているという方もいるのではないでしょうか。 ちなみに有効化している皆さん、S3のサーバーアクセス…

【AWS Tools for Windows PowerShell】S3をPowershellで操作するコマンド例

はじめに AWS Tools for Windows PowerShell で S3 に対する操作をしたので、備忘録です。 記事目安...5分 はじめに サンプルコマンド S3 のオブジェクト情報を取得する オブジェクトを S3 からローカルにダウンロードする フォルダを対象とする場合 オブジ…

【S3】Athena を使用して S3 のアクセスログを分析

エンジョイ AWS! サーバーワークス エンジニアの伊藤Kです。 冬。温かい飲み物と、ケーキが美味しい季節です。 最近、 この記事 でS3のサーバーアクセスログを見る機会がありましたが、 S3のサーバーアクセスログは、ログが出力されるS3のバケット内に、1行…

【S3】ファイル転送ソフトを使ってS3へファイルをアップロード

エンジョイ AWS! サーバーワークス エンジニアの伊藤Kです。 冬。温かい飲み物と、チョコレートが美味しい季節です。 今回は、ファイル転送ソフトウェアのS3アップロード機能を使って、S3へファイルをアップロードします。 準備 S3のバケットを作成します …

AWS SDK for Python (Boto3) で S3 のオブジェクトの所有者情報を取得する際に気をつけること

はじめに ポインコ兄と高橋です。 今回は AWS SDK for Python (Boto3) で S3 のオブジェクトの所有者情報を取得する際に気をつけたいことをまとめました。 AWS SDK for Python (Boto3) とは 簡単に言うと、 Python で AWS の各種サービスを簡単に扱えるよう…

CLI で複数アカウントの S3 のフォルダ有無を確認

はじめに ポインコ兄とエンジニアの高橋です。はてなブログになって初めての投稿で緊張しています。 さて、今回は業務で CLI を使って複数アカウントの S3のフォルダ有無を確認してみたので、その紹介です。 AWS CLI とは コマンドラインで AWS の操作ができ…

IAM Access Analyzer が S3 アクセスポイントポリシーに対応しました!

はじめに こんにちは、技術1課の山中です。 ずっと最近は家に引きこもっていますが、家のネットが貧弱でとても辛いです。 そんな中、同僚から有線にしなよとアドバイスをもらいました。 面倒だし頑なに拒否していたのですが、一昨日くらいから試しに有線に変…

CloudFront のオリジンへ直接アクセスさせない方法まとめ

mermaid.initialize({ startOnLoad: true, theme: document.body.classList.contains('vscode-dark') || document.body.classList.contains('vscode-high-contrast') ? 'dark' : 'default' }); CloudFront を利用する際に オリジンの Webサーバ に 「CloudFr…

S3 に置いたコンテンツを CloudFront を利用 してインターネットに公開する方法まとめ ( B ) CloudFront のオリジンに Amazon S3 バケットの静的ウェブサイトホスティングエンドポイントを使用する方法

本記事の概要につきましては大変お手数ですが 以下のブログをご参照ください S3 に置いたコンテンツを CloudFront を利用 してインターネットに公開する方法まとめ ( B ) CloudFront のオリジンに Amazon S3 バケットの静的ウェブサイトホスティングエンドポ…

S3 に置いたコンテンツを CloudFront を利用 してインターネットに公開する方法まとめ ( A )CloudFront のオリジンに Amazon S3 バケットを使用する方法

本記事の概要につきましては大変お手数ですが 以下のブログをご参照ください S3 に置いたコンテンツを CloudFront を利用 してインターネットに公開する方法まとめ ( A ) CloudFront のオリジンに Amazon S3 バケットを使用する方法 本記事で作成するのは以…

S3 に置いたコンテンツを CloudFront を利用 してインターネットに公開する方法まとめ

S3 に置いたコンテンツをインターネットに公開する際に https 化や キャッシュ保持、WEBサーバ ( API Gateway など )とのURL共有 を考えると 自然と候補に上がるサービスは CloudFront です S3 に置いたコンテンツを CloudFront を利用して インターネットに…

Athenaを使ってVPC Flow Logsを解析する

実はSQL文が好きな鎌田です。 Athena、みなさんはもうご利用でしょうか。Athenaを使うとS3バケットの様々なログをSQLをかけて解析することができます。 今回は、VPC Flow LogsをAthenaで検索する方法をご紹介します。 VPC Flow LogsのログをS3に出力するよう…

【ネタ】使用済みS3バケット名選手権

S3バケットを新規作成する際、すべてのアカウントに存在する既存のバケット名と異なる必要があります。 なかには誰もつけていないだろうと思って命名しようとすると、意外と使われていて名前が付けられない場合もあります。 今回は、2019/08/06現在で、作成…

IAMユーザーにS3のそのIAMユーザー名ディレクトリのみアクセスを許可したい

ひょっとするとタイトルのようなことをしないといけない時が来るかもしれません。 以下のドキュメントを参考にしました。 Amazon S3: IAM ユーザーが自分の S3 ホームディレクトリにプログラムおよびコンソールでアクセスすることを許可する 下記のIAMポリシ…

3ステップでS3オブジェクトロックの概要と特徴をざっくり理解する

「rootアカウントですら永久にオブジェクトを削除できなくなるような機能がS3に追加されたらしい・・・」 S3オブジェクトロック機能がローンチされた際ちらほらこんな噂が聞かれました。 こうした「rootですら削除できなくなる」「設定中は無期限で削除でき…

S3の署名バージョン2 廃止に対応する方法を調べてみた(Embulk S3プラグイン編)

S3の「署名バージョン2」廃止と、サードパーティツールのS3プラグインへの影響 「S3の署名バージョン2 廃止にAWS CLIやSDKをバージョンアップせずに対応する方法を調べてみた」 に関連して、S3を利用するサードパーティツールへの影響についても調べてみまし…

S3の署名バージョン2 廃止にAWS CLIやSDKをバージョンアップせずに対応する方法を調べてみた

S3における「署名バージョン2」が2019年6月24日に廃止されます 下記リンクに記載があるとおり、S3へのAPIリクエスト時の「署名バージョン2」が廃止され、「署名バージョン4」のリクエストのみを受け付けるようになります。 Amazon S3 における AWS 署名バー…

CloudFront と Lambda@Edge による S3 内コンテンツの Basic 認証を Serverless Framework で実現する

はじめに 技術一課の山中です。 S3 のコンテンツに対して CloudFront と Lambda@Edge を利用して Basic 認証をかけたいとの要望があったので、検証してみました。 事前準備 S3 バケットの作成 静的コンテンツを配置するための S3 バケットを作成してください…

S3 オブジェクトのタグ付け機能を使ってみた

こんにちは。クラウドインテグレーション部技術4課の山﨑です。そろそろ自転車部で活動したいなと思っている今日このごろです。さて、先日伊藤よりご紹介させていただきましたがS3に4つの機能がリリースされました。 【re:Invent 2016 発表】S3ストレージ管…