Amazon S3
セキュリティサービス部 佐竹です。Amazon Redshift に保存されているデータを、Amazon Quick Suite や Quick Sight に取り込んで利用したいシーンにおいて、AWS DataSync を利用する方法を今回検証してみました。
はじめに この記事で学べること 前提知識・条件 結論 やってみた 準備（バケット作成） 準備（オブジェクトの準備） 検証（1）削除 検証（2）更新 検証（3）保持期間の延長 まとめ はじめに こんにちは。 アプリケーションサービス本部ディベロップメントサ…
はじめに こんにちは、山本です。 先日、AWS SAM(Serverless Application Model)を使用してフロントエンド用の静的WebサイトをS3でホスティングしようとしたとき、 「index.htmlなどの静的ファイルをSAMテンプレートに含めてデプロイ時に自動配置できれば運…
GitHub ActionsとAWSを活用した個人用のドキュメント基盤の構築例になります。
BigQueryデータをAmazon S3に移行する方法を紹介します。 いくつか方法はありますが、本手順ではAWS Glue JobでBigQueryに対しクエリを実行することでデータを移行します。 本手順を取り入れることで、BigQuery上の大規模なデータの移行・加工処理がサーバー…
こんにちは、やまぐちです。 概要 QuickSight のユーザ権限について やってみた Amazon Q Business 側の設定 データソースの設定 QuickSight との連携設定 Amazon QuickSight 側の設定 データセットとトピックの作成 管理画面から連携設定を実施 チャットで…
こんにちは、やまぐちです。 概要 やってみる 前提 アクセス制御せずにチャットで質問する ACL でアクセス制御を設定する S3 の設定 Amazon Q Business 側の設定 ACL を設定した状態で質問してみる まとめ 概要 今回は、Amazon Q Business で S3 をデータソ…
こんにちは、やまぐちです。 概要 匿名アクセスの Web experience URL について 実装例について 今回の構成 やってみる 前提 Vue アプリケーションの作成 Amplify の利用 Amplify 側のコード作成・修正（バックエンド） Lambda AppSync backend.ts Vue 側の…
はじめに こんにちは、山本です。 今回はAWS資格の一つであるDEA(Data Engineering Associate)の学習中に気になった「列指向形式」データの概要やメリット・デメリットについてお話しします。 私と同じようにAWSの資格を勉強している方にとっての手助けにな…
こんにちは、やまぐちです。 概要 実際にやってみる CloudTrail と AWS Config のログ設定について ログデータの変換 データソースの設定 チャットで質問する まとめ 余談 概要 今回は、CloudTrail と AWS Config の情報を Amazon Q Business を利用してチャ…
こんにちは、やまぐちです。 概要 S3 バケットをデータソースにして試してみる S3 バケットの設定 データソースの設定 VPC にコネクタを設置せずに設定してみる VPC にコネクタを設置して設定してみる チャットで質問する まとめ 概要 Amazon Q Business コ…
はじめに こんにちは、最近は仕事の合間に一息つくタイミングで家で飼っているうさぎ様に癒してもらってます、25卒の山本です。 今回は、前回の記事で触れた「Dify」というRAG環境構成を簡単に実現可能なアプリケーションを触っていく中で、デフォルト設定で…
こんにちは。2025年8月にサーバーワークスに入社し、エデュケーショナルサービス課で研修中の髙橋省伍です。 Amazon EKS における Mountpoint for Amazon S3 CSI (Container Storage Interface)ドライバーの機能が強化され、v2 がリリースされましたので4つ…
はじめに 今日は、Amazon Athena クエリのパフォーマンスを向上させる方法についてご紹介します！ Athena とは、Amazon S3 に保存されているデータを中心に、SQL を使ってさまざまなデータソースにクエリを実行できるサービスです。 クエリのパフォーマンス…
こんにちは、AWS サポート課の坂本（@t_sakam）です。今回は、2025 年 7 月 9 日に発表された「Amazon Q Developer のサービスデータクエリ機能」を取り上げます。このアップデートにより、マネジメントコンソールの Q チャットから、S3 や DynamoDB のデー…
サーバーワークスの村上です。 今回はAmazon S3上にあるデータを外部テーブルとして分析する際、どのような方法があるか、主にHiveとApache Icebergを中心に比べてみました。 想定シーン パターン一覧 結論：Hive形式 とApache Iceberg形式の比較 扱うJSONデ…
マネージドサービス部 佐竹です。 AWS re:Inforce 2025 に現地参加してきましたので、そのログを順番に記述しています。本ブログは COM222 Serverless threat response for Amazon S3 malware detection の解説です。
こんにちは。AWS CLIが好きな福島です。 はじめに マルチアカウントが主流である昨今、ログをS3に集約することが多いかと存じますが、 利便性を損なわないよう、各アカウントからもログを確認できるようにしたいというニーズがあるかと思います。 ということ…
こんにちは。AWS CLIが好きな福島です。 はじめに マルチアカウントが主流である昨今、監査や分析を目的にログをS3に集約することが多いかと存じます。 単一のAWSアカウントから各種AWSサービスのログをS3に出力する際のバケットポリシーについては、AWSのド…
はじめに 何があったのか 調査結果 大きなファイルサイズでは自動的にマルチパートコピーになる。 マルチパートコピーでは、GetObjectTagging が必要になる。 タグありオブジェクトで調べてみた。 まとめ さいごに はじめに こんにちは、アプリケーションサ…
この記事では、Amazon EC2のAuto Scaling機能とAmazon S3を用いて、比較的安価に可用性の高いウェブページをデプロイする方法を紹介します。 今回は以下のような環境を作ってみます。 今回の構成 前提知識 なぜAuto Scalingを使うのか？ やり方 VPC作成 S3バ…
こんにちは！！流川です。 今回は、AWS Configの監査ログ配信用S3バケットでオブジェクトロックを有効化した際にはまった点について、ブログにまとめます。 オブジェクトロックとは オブジェクトロックの機能 リテンションモード リーガルホールド はまった…
本記事執筆の背景 AWS Configの保持設定とは？ 保持設定について 保持設定と料金の関係性について S3のライフサイクル設定とは？ AWS Configの保持設定と、S3のライフサイクル設定について 両者の関係性 両者で確認可能な内容 実際に検証してみた Configを有…
ES課研修中の佐藤（こ）です。 突然ですが、つい最近AWS re:Invent 2024でも発表されていたAmazon S3 MetadataがついにGAとなりました！ Amazon S3 Metadata is now generally available - AWS blog.serverworks.co.jp 東京リージョンではまだ利用できません…
Amazon S3 Object Lambdaを活用し、動的データ加工のチュートリアルを実践。AWS Comprehendと連携したPIIデータのマスキング方法を学ぶ。
こんにちは、エンタープライズクラウド部クラウドリライアビリティ課の呉屋です。 re:Invent 2024で発表された機能で、気になっていたものがありましたので、調べつつ、試してみました。 2024年9月5日にアルファ版リリースされたS3の新たな機能「Storage Bro…
垣見です。 AWS re:Invent 2024で発表されたAmazon S3 Metadataについて、概要をつかめるようになることを目的としたブログです。 後半では設定・クエリ・削除も実画面で触っています。 なお、このブログはサーバーワークスで参加しているQiitaアドベントカ…
本投稿は サーバーワークス Advent Calendar 2024 の 18日目の記事です。 こんにちは。エデュケーショナルサービス課の竹本です。 世間ではインフルエンザが猛威を振るっていますね。 あぁ、鴨鍋を食べたいなぁと思いながら自宅でこのブログを書いています。…
背景 免責事項 Amazon S3 統合とは? 構成イメージ サンプルクエリ ファイル転送要件に注意 実装についてざっくり その他気になったこと S3への通信にVPCエンドポイントが必須か? 背景 S3のオブジェクトをRDS for Oracleに投入する処理をAWSマネージドで行い…
こんにちは。 アプリケーションサービス部、DevOps担当の兼安です。 今回は、AWS re:Invent 2024期間中に発表された新機能「AWS Transfer Family web apps」を試してみたので、その内容をお伝えします。 AWS Transfer Family web appsとは AWS Transfer Fami…
背景となったお客様からの問い合わせ 考察 仮説・検証 EC2 のインスタンスプロファイル S3 側のバケットポリシー 結果：無事、S3 バケットにログを配置することができました。 例外 おまけ：PutObjectACL を試す。 おまけ２：同一の AWS アカウント（１つの…
カスタマーサクセス部の山﨑です。 GuardDutyは、AWS環境のセキュリティ監視を行う強力なサービスです。その中の一つであるGuardDuty Malware Protection for S3を活用することで、S3バケットにアップロードされたファイルに対して自動的にマルウェアのスキ…
マネージドサービス部 佐竹です。AWS が CodeCommit や CloudSearch、Forecast、S3 Select などの一部サービスにおいて、新規顧客の受け入れを停止することを発表しました。その旨の記載のある公式アナウンスページと影響範囲、多少の経緯をまとめてご紹介し…
こんにちは、末廣です。 皆様 Amazon Managed Grafana 使っていますでしょうか？ 本ブログでは Amazon Managed Grafana から別アカウントに存在する CloudFront や ALB のログを Athena でクエリする方法を紹介します。 検証を行う環境と前提条件 アカウント…
アプリケーションサービス部、濱岡です！ AWS Summit2024で参加したセッションのレポートです！ 私はデータ分析を中心に案件に関わっているのでそれに関係するものをみてみました！ Dive deep on Amazon S3 概要 Amazon S3 は、業界トップクラスのスケーラビ…
こんにちは カスタマーサクセス部の山本です。 AWS Summit Tokyo 2024 に行ってきました。 普段は富士五湖の近くに住んでいるため、久々に現地で同業の AWS エンジニアの方たちとお話することができ、有意義な時間になりました。 セッションのスピーカーの方…
Amazon Aurora の 監査ログ ( pgAudit ) を、ログアーカイブ用の AWS アカウントにある S3 バケットに出力してみました。
こんにちは。AWS CLIが好きな福島です。 はじめに 参考情報 構成図 構成のポイント 成功コードにおける補足 検証におけるポイント 手順 ①メインリソースのデプロイ ②ALBへのターゲット(S3のVPCエンドポイントのIP)登録 ③S3バケットへのHTMLファイルアップロ…
マネージドサービス部 佐竹です。本ブログでは、意図せず Amazon Inspector (インスペクター) による Amazon EC2 インスタンスのスキャンによって Amazon S3 の API リクエスト費用が高騰してしまったケースについて記載しています。少々再現性の低い前提条…
Active Directory やサードパーティの IdP など、IAM Identity Center と統合できる認証基盤のアイデンティティ経由での S3 バケットへのアクセスの際に、読み取り or 書き込みなどのアクセスの権限付与の一元管理や、CloudTrail による証跡の記録を行えるよ…
こんにちは！イーゴリです。 S3 Express One ZoneをS3 Standardと比較し、簡単な表にまとめましたので、参考にして頂ければと思います。 下記の表では、S3 Standardクラスが「中」（＝◯まる）としたら、S3 Express One ZoneがS3 Standardクラスに対してどの…
はじめに 免責事項 CloudFormation スタックの削除 delstack やってみる インストール まずは1スタックのみ削除 DELETE_FAILED となったスタック達をまとめて削除 S3 バケットの削除 cls3 やってみる インストール まずは1バケットのみ削除 まとめて削除 ま…
カスタマーサクセス部 岡部です。AWS Organizations を利用したマルチアカウント環境にて S3 バケットのレプリケーション設定の方法を記載しております。
こんにちは 技術課の山本です。 2. EventBridge Scheduler を使用する方法 EventBridge Scheduler の利用する IAM ポリシーと IAM ロールを作成する IAM ポリシーの作成 IAM ロールの作成 IAM ポリシー を IAM ロールに紐付ける EventBridge Scheduler の設…
こんにちは 技術課の山本です。 1. Kinesis Data Firehose を使用する方法 Kinesis Data Firehose のストリームを作成 CloudWatch Logs に付与する IAM ロールの作成 CloudWatch Logs のサブスクリプションフィルターを作成 確認 料金面 まとめ 余談 前回、A…
イメージ： こんにちは 技術課の山本です。 AWS マネジメントコンソールから手動で S3 バケットにエクスポートする まとめ 関連ブログ 余談 気になったので、「どういう用途があるのか？」という観点で調べてみました。 結論としては、「何も考えずに長らく …
こんにちわ！サーバーワークス日本最南端社員の久保玉井（くぼたまい）です。 先週、ラスベガスで開催された re:Invent2023 に参加してきたのですが、その中の発表で「 Amazon S3 Express One Zone 」なる新しい S3 のストレージクラスが発表されました。 「…
こんにちは、野球と LoL(League of Legends) がシーズンオフとなり、心もシーズンオフの末廣です。 本ブログは、 Lambda プロキシ統合について理解した上で、Lambda 統合された API Gateway での CORS 設定を行っていくものとなります。CORS の基礎から設定…
こんにちは、マネージドサービス部テクニカルサポート課の柏尾です。 今回は re:Invent 2023 で発表された「Amazon S3 Express One Zone Storage Class」を Amazon EMR から利用できるようになりましたので、その内容について確認していきたいと思います。 A…
大量の re:Invent 2023 のレポート投稿に追いつけ追い越せ。と Advent Calendar の方も盛り上げていきましょう。 qiita.com こんにちは、アプリケーションサービス部の千葉@4日目担当です。 コロナウイルスのニュースがめっきり減ったと思ったら、次はインフ…
