Amazon S3

S3 Intelligent-Tiering で CUR のコストを年間60万円以上削減した話

カスタマーサクセス部 佐竹です。本日は、S3 Intelligent-Tiering を利用した実際のコスト削減効果を Cost Explorer の画面キャプチャと共にご紹介します。

S3バケットのAWSアカウント間データ移行・Amazon S3 バッチレプリケーション

こんにちは、クラウドインテグレーション2部 技術1課 宮形 です。 先日、異なるAWSアカウント間でS3バケット既存オブジェクトをデータ移行することがありました。 移行方法として、AWSより今年リリースされた新機能「S3バッチレプリケーション」を利用しまし…

【ネタ】Amazon Simple Storage Service(Amazon S3)使用済みバケット名を調査してみた

みなさんこんにちは。 マネージドサービス2課の塩野です。 時々話題になるネタにはなりますが、設定で使いたい名前が使えないなぁと思って色々試しているうちに、そういえばこういう名前は使えるのだろうか?というのが気になって現在の状況を調べてみまし…

空ファイルをブラウザ側でダウンロードしてしまう原因となる、S3のフォルダオブジェクトを削除する

CI部 平野です。 本記事執筆時は3月ですが花粉で苦しむ方が多いですね。 私は春の花粉はほぼ感じないですが、秋の花粉症が酷くてあまり共感されません。。。 今回はS3を利用してWebサイトをホストしていた時に発生した事象について記載します。 どういう現象…

【AWS CloudFormation】S3のライフサイクルルールの設定作成

こんにちは!技術4課のイーゴリです。 本件の記事では、CloudFormationでS3のライフサイクルルールの設定の一例をご紹介させて頂きます。 本件記事の目標 Cloud Formationテンプレートの作成 スタックの作成 YAMLの説明 S3ストレージクラスの設定値 本件記事…

【Windows Server / Linux】Amazon S3をEC2インスタンスにマウントする方法

こんにちは!技術4課のイーゴリです。 本件の記事では、Amazon S3をEC2インスタンスにマウントする方法をご紹介させて頂きます。 マウントの方法は色々ありますが、本件の記事では、有料のソフトウェアを使わずに、無料のソフトウェアだけで行う方法をご紹介…

【初心者向け】S3オブジェクトを別アカウントから取得してみた

こんにちは! クラウドインテグレーション部(CI部)技術2課の反町です。 別アカウントに存在するS3からオブジェクトを取得する方法を知りたかったので、公式ドキュメントを参考にやってみました!! aws.amazon.com 構成 今回のゴール Bアカウントでやるこ…

S3 SelectでSQLクエリを実行してみた

はじめに 前提知識 SQL S3 Select やってみよう 上から5件のレコードを取得する 平均気温が10℃以下の日付と平均気温を取得する 天気が一瞬でも晴だった日を取得する 平均気温が高い順にレコードを取得する まとめ はじめに こんにちは。PE部の谷です。 S3 Se…

【S3】S3オブジェクトロックを設定してみた

こんにちは!クラウドインテグレーション部技術1課のイーゴリです。 本件の記事では、S3バケットのオブジェクトロックを設定してみましたので、ご紹介させて頂きます。 S3オブジェクトロックとは S3バケットのオブジェクトロックの設定 新規のS3バケットを作…

【初心者向け】S3オブジェクトを別アカウントのS3にコピーしてみた

こんにちは! クラウドインテグレーション部(CI部)技術2課の反町です。 別アカウントに存在するS3同士でオブジェクトをコピーする方法を知りたかったので、公式ドキュメントを参考にやってみました!! aws.amazon.com 構成 今回のゴール Bアカウントでや…

Amazon S3 Storage Lens を組織単位で有効化する

営業部 佐竹です。本日は、Amazon S3 のコスト最適化に役立つツールである Storage Lens を組織単位で有効化する方法を記載します。

【用途別】S3ログを集計する方法 〜その③ 集計し、可視化したい〜

こんにちは、屋根裏エンジニアこと 技術1課の折戸です。 前々回、前回に引き続きS3ログを集計する方法について、 今回は 、 その③ 集計し、可視化したい 場合の方法についてご紹介します。 集計条件 その③ 集計し、可視化したい QuickSight アカウントの作成…

バックアップソフトからダイレクトにAmazon S3へバックアップ

みなさんこんにちは。 前回は個人向けNASから直接AWSのS3にバックアップをしてみました。 企業向けのバックアップソフトでも同様にAWSなどのクラウド環境にバックアップを保存できますので、今回はそちらを試してみたいと思います。 前回の記事 blog.serverw…

Amazon S3を使ったオンプレミスNASのDR対策

みなさんこんにちは。 そろそろ年の瀬ですが、年の瀬といえば今年1年でたまったもののお掃除が気になるところです。毎年この時期になると、たまりにたまったデータのお掃除をしたいなーと思いながら、ため込んだデータ多さになかなか整理しようと手につきま…

【用途別】S3ログを集計する方法 〜その② 少し複雑な条件で集計したい〜

こんにちは、屋根裏エンジニアこと 技術1課の折戸です。 前回に引き続きS3ログを集計する方法について、 今回は その② 少し複雑な条件で集計したい 場合の方法についてご紹介します。 集計条件 その② 少し複雑な条件で集計したい Athena クエリ結果の場所用…

【用途別】S3ログを集計する方法 〜その① 簡単な条件で集計したい〜

【用途別】S3ログを集計する方法

AWS re:Invent 2021 で発表された S3 のアップデートまとめ セキュリティ関係

営業部 佐竹です。本ブログは「AWS re:Invent 2021 で発表された S3 のアップデートまとめ」と題しまして、Amazon S3 のリリースをまとめました。S3 のアップデートは数が多いため「コスト削減関係」と「セキュリティ関係」で2つの記事に分けてのご紹介とな…

AWS re:Invent 2021 で発表された S3 のアップデートまとめ コスト削減関係

営業部 佐竹です。本ブログは「AWS re:Invent 2021 で発表された S3 のアップデートまとめ」と題しまして、Amazon S3 のリリースをまとめました。S3 のアップデートは数が多いため「コスト削減関係」と「セキュリティ関係」で2つの記事に分けてのご紹介とな…

Amazon Athenaを利用してS3に保管されているログを調査する - VPC Flow Logs編 -

CI部1課の山﨑です。 これまでAmazon Athenaを利用してS3に保管されているAWS Config/AWS CloudTrail のログを調査する方法を調べましたが、今回はVPC Flow Logs のログを調査する方法を調べてみました。 blog.serverworks.co.jp blog.serverworks.co.jp お…

Amazon Athenaを利用してS3に保管されているログを調査する - AWS CloudTrail編 -

CI部1課の山﨑です。 前回はAmazon Athenaを利用してS3に保管されているAWS Config のログを調査する方法を調べましたが、今回はAWS CloudTrail のログを調査する方法を調べてみました。 blog.serverworks.co.jp おさらい AWS CloudTrail AWS CloudTrail と…

Amazon Athenaを利用してS3に保管されているログを調査する - AWS Config編 -

CI部1課の山﨑です。 今回はAmazon Athenaを利用してS3に保管されているAWS Config のログを調査する方法を調べてみたので整理します。 おさらい AWS Config AWS Config とは AWS Config のログの種類 Amazon Athena Amazon Athena とは S3のログを調査して…

S3 Select で CSV ファイルをクエリしてみた

アプリケーションサービス部の宮本です。 今回は S3 Select の検証をしたのでご紹介します。 はじめに S3 Select とは 料金 検証 事前準備 クエリ実行 日本語対応は? 関数 注意点 まとめ 参考 はじめに S3 Select とは Amazon S3 Select では、シンプルな構…

LINE のトーク上に送信した画像を S3 にアップロードする

こんにちは。アプリケーションサービス部 河野です。 またまた LINE 関連のテーマで恐縮ですが、今回は、LINEのトークで送信した画像を S3 にアップロードする機能を実装してみます。 今回作成するもの LINEから画像を送信すると、S3フォルダに画像をアップ…

S3料金の調べ方

AWSアカウントのS3の料金を AWS Cost Explorer と Amazon S3 Storage Lensを使って分析してみました。 まずはCost Explorerで確認 どのサービスが高いか S3のどの料金タイプが高いか どのリクエストが高いか どのバケットが高いのか S3 Storage Lensも使って…

Amazon S3 の PrivateLink が他のサービスと異なるたった1つの点

SRE部 佐竹です。 本ブログでは S3 の PrivateLink (Interface 型 VPC Endpoint) が他のサービスの PrivateLink と異なるたった1つの点について SSM を比較対象として記載しました。たった1つしか異なる点はないのですが、これにより他のサービスと異なり使…

AWS PrivateLink for Amazon S3を分かりやすく解説してみる

杉村です。待望のアップデートがありました。 Amazon S3 用の PrivateLink (Interface 型 VPC Endpoint)です! 従来までも Gateway 型と呼ばれるタイプの S3 用 VPC Endpoint は利用できましたが、今回は Interface 型の VPC Endpoint が利用可能になりまし…

【小ネタ】S3サーバーアクセスログを有効化しているのにいつまで経ってもログが格納されない!!もしかしたら暗号化が影響しているかも

突然ですが、S3のサーバーアクセスログを有効化にしていますか? docs.aws.amazon.com 設定も簡単、CloudTrailより安価、ということで、とりあえず有効化しているという方もいるのではないでしょうか。 ちなみに有効化している皆さん、S3のサーバーアクセス…

【AWS Tools for Windows PowerShell】S3をPowershellで操作するコマンド例

はじめに AWS Tools for Windows PowerShell で S3 に対する操作をしたので、備忘録です。 記事目安...5分 はじめに サンプルコマンド S3 のオブジェクト情報を取得する オブジェクトを S3 からローカルにダウンロードする フォルダを対象とする場合 オブジ…

【S3】Athena を使用して S3 のアクセスログを分析

エンジョイ AWS! サーバーワークス エンジニアの伊藤Kです。 冬。温かい飲み物と、ケーキが美味しい季節です。 最近、 この記事 でS3のサーバーアクセスログを見る機会がありましたが、 S3のサーバーアクセスログは、ログが出力されるS3のバケット内に、1行…

【S3】ファイル転送ソフトを使ってS3へファイルをアップロード

エンジョイ AWS! サーバーワークス エンジニアの伊藤Kです。 冬。温かい飲み物と、チョコレートが美味しい季節です。 今回は、ファイル転送ソフトウェアのS3アップロード機能を使って、S3へファイルをアップロードします。 準備 S3のバケットを作成します …

AWS SDK for Python (Boto3) で S3 のオブジェクトの所有者情報を取得する際に気をつけること

はじめに ポインコ兄と高橋です。 今回は AWS SDK for Python (Boto3) で S3 のオブジェクトの所有者情報を取得する際に気をつけたいことをまとめました。 AWS SDK for Python (Boto3) とは 簡単に言うと、 Python で AWS の各種サービスを簡単に扱えるよう…

CLI で複数アカウントの S3 のフォルダ有無を確認

はじめに ポインコ兄とエンジニアの高橋です。はてなブログになって初めての投稿で緊張しています。 さて、今回は業務で CLI を使って複数アカウントの S3のフォルダ有無を確認してみたので、その紹介です。 AWS CLI とは コマンドラインで AWS の操作ができ…

IAM Access Analyzer が S3 アクセスポイントポリシーに対応しました!

はじめに こんにちは、技術1課の山中です。 ずっと最近は家に引きこもっていますが、家のネットが貧弱でとても辛いです。 そんな中、同僚から有線にしなよとアドバイスをもらいました。 面倒だし頑なに拒否していたのですが、一昨日くらいから試しに有線に変…

CloudFront のオリジンへ直接アクセスさせない方法まとめ

mermaid.initialize({ startOnLoad: true, theme: document.body.classList.contains('vscode-dark') || document.body.classList.contains('vscode-high-contrast') ? 'dark' : 'default' }); CloudFront を利用する際に オリジンの Webサーバ に 「CloudFr…

S3 に置いたコンテンツを CloudFront を利用 してインターネットに公開する方法まとめ ( B ) CloudFront のオリジンに Amazon S3 バケットの静的ウェブサイトホスティングエンドポイントを使用する方法

本記事の概要につきましては大変お手数ですが 以下のブログをご参照ください S3 に置いたコンテンツを CloudFront を利用 してインターネットに公開する方法まとめ ( B ) CloudFront のオリジンに Amazon S3 バケットの静的ウェブサイトホスティングエンドポ…

S3 に置いたコンテンツを CloudFront を利用 してインターネットに公開する方法まとめ ( A )CloudFront のオリジンに Amazon S3 バケットを使用する方法

本記事の概要につきましては大変お手数ですが 以下のブログをご参照ください S3 に置いたコンテンツを CloudFront を利用 してインターネットに公開する方法まとめ ( A ) CloudFront のオリジンに Amazon S3 バケットを使用する方法 本記事で作成するのは以…

S3 に置いたコンテンツを CloudFront を利用 してインターネットに公開する方法まとめ

S3 に置いたコンテンツをインターネットに公開する際に https 化や キャッシュ保持、WEBサーバ ( API Gateway など )とのURL共有 を考えると 自然と候補に上がるサービスは CloudFront です S3 に置いたコンテンツを CloudFront を利用して インターネットに…

Athenaを使ってVPC Flow Logsを解析する

実はSQL文が好きな鎌田です。 Athena、みなさんはもうご利用でしょうか。Athenaを使うとS3バケットの様々なログをSQLをかけて解析することができます。 今回は、VPC Flow LogsをAthenaで検索する方法をご紹介します。 VPC Flow LogsのログをS3に出力するよう…

【ネタ】使用済みS3バケット名選手権

S3バケットを新規作成する際、すべてのアカウントに存在する既存のバケット名と異なる必要があります。 なかには誰もつけていないだろうと思って命名しようとすると、意外と使われていて名前が付けられない場合もあります。 今回は、2019/08/06現在で、作成…

IAMユーザーにS3のそのIAMユーザー名ディレクトリのみアクセスを許可したい

ひょっとするとタイトルのようなことをしないといけない時が来るかもしれません。 以下のドキュメントを参考にしました。 Amazon S3: IAM ユーザーが自分の S3 ホームディレクトリにプログラムおよびコンソールでアクセスすることを許可する 下記のIAMポリシ…

3ステップでS3オブジェクトロックの概要と特徴をざっくり理解する

「rootアカウントですら永久にオブジェクトを削除できなくなるような機能がS3に追加されたらしい・・・」 S3オブジェクトロック機能がローンチされた際ちらほらこんな噂が聞かれました。 こうした「rootですら削除できなくなる」「設定中は無期限で削除でき…

S3の署名バージョン2 廃止に対応する方法を調べてみた(Embulk S3プラグイン編)

S3の「署名バージョン2」廃止と、サードパーティツールのS3プラグインへの影響 「S3の署名バージョン2 廃止にAWS CLIやSDKをバージョンアップせずに対応する方法を調べてみた」 に関連して、S3を利用するサードパーティツールへの影響についても調べてみまし…

S3の署名バージョン2 廃止にAWS CLIやSDKをバージョンアップせずに対応する方法を調べてみた

S3における「署名バージョン2」が2019年6月24日に廃止されます 下記リンクに記載があるとおり、S3へのAPIリクエスト時の「署名バージョン2」が廃止され、「署名バージョン4」のリクエストのみを受け付けるようになります。 Amazon S3 における AWS 署名バー…

CloudFront と Lambda@Edge による S3 内コンテンツの Basic 認証を Serverless Framework で実現する

はじめに 技術一課の山中です。 S3 のコンテンツに対して CloudFront と Lambda@Edge を利用して Basic 認証をかけたいとの要望があったので、検証してみました。 事前準備 S3 バケットの作成 静的コンテンツを配置するための S3 バケットを作成してください…

S3 オブジェクトのタグ付け機能を使ってみた

こんにちは。クラウドインテグレーション部技術4課の山﨑です。そろそろ自転車部で活動したいなと思っている今日このごろです。さて、先日伊藤よりご紹介させていただきましたがS3に4つの機能がリリースされました。 【re:Invent 2016 発表】S3ストレージ管…