こんにちは。クロスインダストリー第1本部 松田です。 前編 では、アーキテクチャ選定の経緯と AWS 側の構築（Amazon S3 Tables・AWS Lambda MCP サーバー・Amazon API Gateway・VPC エンドポイント）をご紹介しました。 後編の本記事では、Google Cloud（以…

こんにちは。クロスインダストリー第1本部 松田です。 Gemini Enterprise を全社導入されているお客様と、「Gemini をユーザーインタフェースとして AWS 上のデータを AI 活用できないか？」というテーマでディスカッションをさせていただいたことがありまし…

セッション概要 第1章 なぜ今 Apache Iceberg なのか AI の基盤であるデータ Agentic AI におけるデータの障壁 Apache Iceberg というオープンテーブルフォーマット Apache Iceberg V3 第2章 AWS スタックの全体像 AWS アナリティクススタック AWS Glue Data…

こんにちは。クロスインダストリー第1本部 松田です。 2024年12月に Amazon S3 Tables が GA となりました。S3 Tables は Apache Iceberg テーブルのフルマネージドストレージで、コンパクション・スナップショット管理・不要ファイル削除が自動化されます。…

はじめに こんにちは、アプリケーションサービス本部の三宅です！ Amazon S3 Tables の大きな魅力の一つが、自動でメンテナンスを行ってくれる点です。 しかし、メンテナンスといわれても、何をメンテナンスするのかよくわかっていませんでした。 例えば、S3…

はじめに こんにちは！ Amazon S3 Tables を利用して、データレイクを構築する機会がありました。 最初は、「S3 + Parquet（Hive 形式）」を検討していましたが、特定のレコードを上書きしたいと思った時に、うまく実装することができませんでした。 S3 Tabl…

この記事では、S3 Tables の AWS 分析サービスとの統合設定や検証を通じて遭遇した問題と、その解決方法について解説します。

サーバーワークスの村上です。 今回はAmazon S3上にあるデータを外部テーブルとして分析する際、どのような方法があるか、主にHiveとApache Icebergを中心に比べてみました。 想定シーン パターン一覧 結論：Hive形式 とApache Iceberg形式の比較 扱うJSONデ…

寒暖差で久しぶりにガッツリ体調を崩した荒井です。薬を飲んでも体調戻るのが明らかに遅くなっててダブルの意味で辛くなっています。 今回はタイトルにもある通り、Amazon S3 Tables + Apache Iceberg (+ Athena)について調査する機会がありましたので記事に…

垣見です。 AWS re:Invent 2024で発表されたAmazon S3 Metadataについて、概要をつかめるようになることを目的としたブログです。 後半では設定・クエリ・削除も実画面で触っています。 なお、このブログはサーバーワークスで参加しているQiitaアドベントカ…

AWS re:Invent 2024から帰国した小菅です。 2024年12月02日～06日でラスベガスで開催されたAWS re:invent 2024に参加してまいりました。 Keynoteでのアップデート、数多くのブレイクアウトセッションがある中で 今回は、Keynoteで紹介がありましたAmazon S3 …