Amazon S3

Amazon Inspector の EC2 スキャンで S3 の利用料が高額になる条件

マネージドサービス部 佐竹です。本ブログでは、意図せず Amazon Inspector (インスペクター) による Amazon EC2 インスタンスのスキャンによって Amazon S3 の API リクエスト費用が高騰してしまったケースについて記載しています。少々再現性の低い前提条…

Amazon S3 Access Grants を試してみた

Active Directory やサードパーティの IdP など、IAM Identity Center と統合できる認証基盤のアイデンティティ経由での S3 バケットへのアクセスの際に、読み取り or 書き込みなどのアクセスの権限付与の一元管理や、CloudTrail による証跡の記録を行えるよ…

S3 Express One ZoneをS3 Standardと比較してみた

こんにちは!イーゴリです。 S3 Express One ZoneをS3 Standardと比較し、簡単な表にまとめましたので、参考にして頂ければと思います。 下記の表では、S3 Standardクラスが「中」(=◯まる)としたら、S3 Express One ZoneがS3 Standardクラスに対してどの…

年末は AWS 環境も大掃除しよう(delstack, cls3)

はじめに 免責事項 CloudFormation スタックの削除 delstack やってみる インストール まずは1スタックのみ削除 DELETE_FAILED となったスタック達をまとめて削除 S3 バケットの削除 cls3 やってみる インストール まずは1バケットのみ削除 まとめて削除 ま…

マルチアカウント環境における S3 バケットのレプリケーション設定方法

カスタマーサクセス部 岡部です。AWS Organizations を利用したマルチアカウント環境にて S3 バケットのレプリケーション設定の方法を記載しております。

CloudWatch Logs を "自動で" S3 にエクスポートする方法。その 2 、EventBridge Scheduler を使用する方法。

こんにちは 技術課の山本です。 2. EventBridge Scheduler を使用する方法 EventBridge Scheduler の利用する IAM ポリシーと IAM ロールを作成する IAM ポリシーの作成 IAM ロールの作成 IAM ポリシー を IAM ロールに紐付ける EventBridge Scheduler の設…

CloudWatch Logs を "自動で" S3 にエクスポートする方法。その 1 、Kinesis Data Firehose を使用する方法。

こんにちは 技術課の山本です。 1. Kinesis Data Firehose を使用する方法 Kinesis Data Firehose のストリームを作成 CloudWatch Logs に付与する IAM ロールの作成 CloudWatch Logs のサブスクリプションフィルターを作成 確認 料金面 まとめ 余談 前回、A…

CloudWatch Logs を AWS マネジメントコンソールから手動で S3 バケットにエクスポートする

イメージ: こんにちは 技術課の山本です。 AWS マネジメントコンソールから手動で S3 バケットにエクスポートする まとめ 関連ブログ 余談 気になったので、「どういう用途があるのか?」という観点で調べてみました。 結論としては、「何も考えずに長らく …

Amazon S3 Express One Zone って本当に速いのか?計測してみた

こんにちわ!サーバーワークス日本最南端社員の久保玉井(くぼたまい)です。 先週、ラスベガスで開催された re:Invent2023 に参加してきたのですが、その中の発表で「 Amazon S3 Express One Zone 」なる新しい S3 のストレージクラスが発表されました。 「…

Lambda プロキシ統合と考える API Gateway の CORS (Cross-Origin Resource Sharing) 設定

こんにちは、野球と LoL(League of Legends) がシーズンオフとなり、心もシーズンオフの末廣です。 本ブログは、 Lambda プロキシ統合について理解した上で、Lambda 統合された API Gateway での CORS 設定を行っていくものとなります。CORS の基礎から設定…

Amazon EMR で S3 Express One Zone ストレージクラスが利用できるようになりました

こんにちは、マネージドサービス部テクニカルサポート課の柏尾です。 今回は re:Invent 2023 で発表された「Amazon S3 Express One Zone Storage Class」を Amazon EMR から利用できるようになりましたので、その内容について確認していきたいと思います。 A…

世界を統治する手始めに CloudShell から S3 をマウントした。ってはなし

大量の re:Invent 2023 のレポート投稿に追いつけ追い越せ。と Advent Calendar の方も盛り上げていきましょう。 qiita.com こんにちは、アプリケーションサービス部の千葉@4日目担当です。 コロナウイルスのニュースがめっきり減ったと思ったら、次はインフ…

特定IAMユーザー&IAMロール以外のS3バケットへのアクセスを拒否するバケットポリシー

こんにちは! エンタープライズクラウド部技術2課の日高です。 本日は、特定IAMユーザー&IAMロール以外のS3バケットへのアクセスを拒否するバケットポリシーの記載方法についてまとめます。 はじめに(困っていたこと) 解決方法 S3バケットポリシー S3バケ…

【Cloud Automator】S3バケットをバックアップできるようになりました

Amazon S3 (Simple Storage Service) バケットをバックアップするアクションが、Cloud Automatorに新しく加わりました。 概要 今回リリースされた「S3: バケットをバックアップ」では、Cloud AutomatorからAWS Backupを使用してS3バケットをバックアップする…

【Amazon S3】ストレージクラスを変更しただけなのに連動タスクが無限発生【Amazon EventBridge】

こんにちは。 ディベロップメントサービス1課の山本です。 最近、リモートワークでの運動不足を感じてジムに入会しました。 基礎代謝を上げるために、下半身マッチョを目指してます。 今回はAmazon S3(以下、S3)のイベント通知をAmazon EventBridgeで受け取…

Amazon AppFlowを使ってSalesforceからAmazon S3にCSV出力してみた

こんにちは、CE課の江利です。 前回に引き続き今回もSalesforceからS3バケットにCSVファイルを出力する方法を紹介します。 blog.serverworks.co.jp 今回利用するのはAmazon AppFlowです。 aws.amazon.com trailhead.salesforce.com フローを作成 手順1 フロ…

CRM AnalyticsのAmazon S3 出力接続を使ってみた

こんにちは、CE課の江利です。 Salesforceのレポート結果を定期的にCSV出力したいみたいな要件ってあるのではないかなと思います。この記事ではCRM Analyticsから出力結果をCSV形式でAmazon S3に書き出すAmazon S3 出力接続機能の設定方法と実際に使ってみた…

【AWS公式S3マウントする方法】Amazon S3をEC2インスタンスにマウントする(Mountpoint for Amazon S3)

こんにちは!イーゴリです。 前回の記事では、s3fsをご紹介しましたが、s3fsの使用はAWS非推奨ですので、今までEC2にS3マウントするAWS公式方法はありませんでした。 blog.serverworks.co.jp 質問. S3をEC2にマウントした時よりは、EFSの方が早いですか? 回…

ClientVPN経由でS3の静的Webサイトにアクセス設定方法

こんにちは!イーゴリです。 Amazon S3 を使用して静的ウェブサイトをホスティングする(HTTPアクセス)機能はとても便利ですね。 前回の記事では、S3のStatic Website Hostingに特定の VPC からしかアクセスできなくする方法について検証しましたが、この記…

S3 の静的Webサイトに特定の VPC からしかアクセスできなくする方法

こんにちは!イーゴリです。 Amazon S3 を使用して静的ウェブサイトをホスティングする(HTTPアクセス)機能はとても便利ですね。 S3のStatic Website Hostingに特定の VPC からしかアクセスできなくする方法について検証しましたので、 共有致します。 今回…

Amazon GuardDuty で検出結果の S3 への保存をクロスアカウントしようとしてハマった話

マネージドサービス部 佐竹です。Amazon GuardDuty の検出結果をクロスアカウントアクセスして S3 バケットに保存する設定を行う際に、少々権限まわりでハマったため、その解決方法について詳細に記載しました。Amazon S3 のアクセス権に関するざっくりとし…

AWS CloudTrail で取得したログの検索

AWS CloudTrail を有効にしてS3にログを保存しているものの、保存しっぱなしでうまく活用できていないケースがおおいため、 S3に保存してあるCloudTrail のログを検索する方法をご紹介します。

マルチアカウントでAWS Configを使う時は「リトライ」機能に気を付けよう

CI2-1の松田です。こんにちは。 今日はあまり知られていないであろうAWS Configの「リトライ」の挙動についてお話します。 知らないとハマるかも?というところですので、特にマルチアカウントでAWS Configを使われている方は、最後までお付き合い頂ければ幸…

Powershell で S3 にフォルダーをアップロードしてみる。(AWS Tools for PowerShell を使用。)

こんにちは。 技術課の山本です。 冬ですね。 今年も雪山に行って、純白な気持ちになっています。 Powershell で S3 にフォルダーをアップロードしてみる。(AWS Tools for PowerShell を使用。) S3 バケットの作成 SNS トピックの作成 IAM ユーザーの作成 AW…

セキュリティグループのアウトバウンドルールに S3 向けのルールを設定する

コーヒーが好きな木谷映見です。 インバウンド通信を制限するためにセキュリティグループのインバウンドルールを設定することはよくありますが、アウトバウンドは制限しないことが多いと思います。 しかし、企業のセキュリティ基準が厳しく、セキュリティグ…

S3 ゲートウェイ型 VPC エンドポイントのエンドポイントポリシーは "Principal" ではなく "Condition" の使用が推奨されている

コーヒーが好きな木谷映見です。 S3 ゲートウェイ型 VPC エンドポイントポリシー、使っていますか? S3 ゲートウェイ型 VPC エンドポイントは、プライベートサブネットのリソースから S3 バケットに接続するために無料で使用でき、冗長性の考慮不要で帯域幅…

S3 でのファイル保管料金を、プラン毎に比較してみる。+ S3 Intelligent - Tiering の設定方法。

こんにちは。 「日本百名山」ではなく、「マイナー12名山」を全て登ることを目指している山本です。 ススヶ峰から望む赤倉岳(マイナー12名山)。※このあと雷と吹雪で撤退し登頂ならず。 S3 の Intelligent-Tiering について、弊社の佐竹が以下の記事で…

Amazon CloudFront の Origin Access Identity を Origin Access Control (OAC) に切り替える。Terraform編。

こんにちは。 技術課の山本です。 夏休みは北アルプスをお散歩していました。お気に入りの黒部五郎岳です。 以下の記事で、Amazon CloudFront の Origin Access Identity を Origin Access Control (OAC) に切り替える方法をご案内しました。 blog.serverwor…

Amazon CloudFront の Origin Access Identity を Origin Access Control (OAC) に切り替える。

こんにちは。 技術課の山本です。 秋が近いですね。 先日、2022 年 8 月 25 日に 「Amazon CloudFront が Origin Access Control を提供するようになりました。」というアナウンスがありました。 aws.amazon.com S3 バケットで公開しているコンテンツを、Clo…

【試してみた】Amazon S3のバージョニング

Amazon S3のバージョニングについて試してみた結果や、使用する上での注意点をまとめてみました。

【Security Hub対応(S3.8)】S3ブロックパブリックアクセスを有効化しても問題ないか確認する方法

こんにちは。AWS CLIが好きな福島です。 はじめに 結論 ①Access Analyzer for S3にて検知されていないこと そもそも、IAM Access Analyzerとは Access Analyzer for S3の確認方法 IAM Access Analyzerへのアクセス パブリックアクセスが可能なS3の確認 補足 …

指定のファイル数がS3バケットに到達したらGlueジョブを実行させる方法

こんにちは!SRE2課 入倉です。 今回はEventBridgeを使ってS3バケットに指定した数のファイルがアップロードされたら、 Glueワークフローを起動させて、その中で指定したGlueジョブを実行する設定を試してみました。 構成 前提 設定 Glueワークフローの作成 …

【AWS CloudFormation】Amazon S3のブロックパブリックアクセスをブロックする

こんにちは!イーゴリです。 本日の記事では、AWS CloudFormationでAmazon S3のブロックパブリックアクセスの方法をご紹介致します。 AWSTemplateFormatVersion: "2010-09-09" Description: "Blocking public access to your S3 Bucket" Resources: S3Bucket…

Papermillを使ってみた

こんにちは。AS部DS1課の戸塚です。 以前Papermillを使う機会があったので、本記事ではPapermillの特徴や用途について書いていきたいと思います。 Papermillとは PapermillはJupyter Notebookをバッチ実行するためのツールです。 Papermillを使えば,ノート…

S3のバケットポリシーでPutBucketPolicyを制御する際はポリシーの記述ミスに要注意

CI2部 技術2課の山﨑です。 今回の記事で伝えたいことは以下の通りです! S3バケットポリシーでPutBucketPolicyを制御する際はポリシーの記述ミスに注意しましょう! S3バケットポリシーについておさらい バケットポリシーにおけるPutBucketPolicyの制御につ…

S3 Intelligent-Tiering で CUR のコストを年間60万円以上削減した話

カスタマーサクセス部 佐竹です。本日は、S3 Intelligent-Tiering を利用した実際のコスト削減効果を Cost Explorer の画面キャプチャと共にご紹介します。

S3バケットのAWSアカウント間データ移行・Amazon S3 バッチレプリケーション

こんにちは、クラウドインテグレーション2部 技術1課 宮形 です。 先日、異なるAWSアカウント間でS3バケット既存オブジェクトをデータ移行することがありました。 移行方法として、AWSより今年リリースされた新機能「S3バッチレプリケーション」を利用しまし…

【ネタ】Amazon Simple Storage Service(Amazon S3)使用済みバケット名を調査してみた

みなさんこんにちは。 マネージドサービス2課の塩野です。 時々話題になるネタにはなりますが、設定で使いたい名前が使えないなぁと思って色々試しているうちに、そういえばこういう名前は使えるのだろうか?というのが気になって現在の状況を調べてみまし…

空ファイルをブラウザ側でダウンロードしてしまう原因となる、S3のフォルダオブジェクトを削除する

CI部 平野です。 本記事執筆時は3月ですが花粉で苦しむ方が多いですね。 私は春の花粉はほぼ感じないですが、秋の花粉症が酷くてあまり共感されません。。。 今回はS3を利用してWebサイトをホストしていた時に発生した事象について記載します。 どういう現象…

【AWS CloudFormation】S3のライフサイクルルールの設定作成

こんにちは!技術4課のイーゴリです。 本件の記事では、CloudFormationでS3のライフサイクルルールの設定の一例をご紹介させて頂きます。 本件記事の目標 Cloud Formationテンプレートの作成 スタックの作成 YAMLの説明 S3ストレージクラスの設定値 本件記事…

【Windows Server / Linux】Amazon S3をEC2インスタンスにマウントする方法

こんにちは!技術4課のイーゴリです。 本件の記事では、Amazon S3をEC2インスタンスにマウントする方法をご紹介させて頂きます。 マウントの方法は色々ありますが、本件の記事では、有料のソフトウェアを使わずに、無料のソフトウェアだけで行う方法をご紹介…

【初心者向け】S3オブジェクトを別アカウントから取得してみた

こんにちは! クラウドインテグレーション部(CI部)技術2課の反町です。 別アカウントに存在するS3からオブジェクトを取得する方法を知りたかったので、公式ドキュメントを参考にやってみました!! aws.amazon.com 構成 今回のゴール Bアカウントでやるこ…

S3 SelectでSQLクエリを実行してみた

はじめに 前提知識 SQL S3 Select やってみよう 上から5件のレコードを取得する 平均気温が10℃以下の日付と平均気温を取得する 天気が一瞬でも晴だった日を取得する 平均気温が高い順にレコードを取得する まとめ はじめに こんにちは。PE部の谷です。 S3 Se…

【S3】S3オブジェクトロックを設定してみた

こんにちは!クラウドインテグレーション部技術1課のイーゴリです。 本件の記事では、S3バケットのオブジェクトロックを設定してみましたので、ご紹介させて頂きます。 S3オブジェクトロックとは S3バケットのオブジェクトロックの設定 新規のS3バケットを作…

【初心者向け】S3オブジェクトを別アカウントのS3にコピーしてみた

こんにちは! クラウドインテグレーション部(CI部)技術2課の反町です。 別アカウントに存在するS3同士でオブジェクトをコピーする方法を知りたかったので、公式ドキュメントを参考にやってみました!! aws.amazon.com 構成 今回のゴール Bアカウントでや…

Amazon S3 Storage Lens を組織単位で有効化する

営業部 佐竹です。本日は、Amazon S3 のコスト最適化に役立つツールである Storage Lens を組織単位で有効化する方法を記載します。

【用途別】S3ログを集計する方法 〜その③ 集計し、可視化したい〜

こんにちは、屋根裏エンジニアこと 技術1課の折戸です。 前々回、前回に引き続きS3ログを集計する方法について、 今回は 、 その③ 集計し、可視化したい 場合の方法についてご紹介します。 集計条件 その③ 集計し、可視化したい QuickSight アカウントの作成…

バックアップソフトからダイレクトにAmazon S3へバックアップ

みなさんこんにちは。 前回は個人向けNASから直接AWSのS3にバックアップをしてみました。 企業向けのバックアップソフトでも同様にAWSなどのクラウド環境にバックアップを保存できますので、今回はそちらを試してみたいと思います。 前回の記事 blog.serverw…

Amazon S3を使ったオンプレミスNASのDR対策

みなさんこんにちは。 そろそろ年の瀬ですが、年の瀬といえば今年1年でたまったもののお掃除が気になるところです。毎年この時期になると、たまりにたまったデータのお掃除をしたいなーと思いながら、ため込んだデータ多さになかなか整理しようと手につきま…

【用途別】S3ログを集計する方法 〜その② 少し複雑な条件で集計したい〜

こんにちは、屋根裏エンジニアこと 技術1課の折戸です。 前回に引き続きS3ログを集計する方法について、 今回は その② 少し複雑な条件で集計したい 場合の方法についてご紹介します。 集計条件 その② 少し複雑な条件で集計したい Athena クエリ結果の場所用…