データドリブンな人間を目指している香取です。 最近 Databricks では生成 AI 関連のアップデートがどんどん追加されており、AI エージェントを簡単に構築できるようになってきています。 そんな中 AI エージェント構築の一連の流れを体験できる公式チュート…

Databricks とは データガバナンスとは Unity Catalog によるデータガバナンス アクセス制御 監査 データ発見可能性 データリネージ ER 図 AI によるコメント生成 データ共有 データ品質 おわりに 参考 アプリケーションサービス本部の鎌田(義)です。 本稿で…

この記事では、Databricksで利用されるUnity Catalogにおけるデータの階層構造と、その各コンポーネントの役割を解説します。本記事の最終的な目標は、公式チュートリアルに取り組む際に、Unity Catalog独自の用語でつまずかないように基礎知識を身につけら…

従来、データ基盤は「データレイク」と「データウェアハウス」を組み合わせるのが一般的でした。 しかしこの構成は、システムの複雑さや運用コストの増大といった課題を抱えていました。 データレイクハウス（以下、レイクハウス）は、これらの課題を解決す…

はじめに データレイクとは データレイクのメリットについて とりあえず放り込める 一元管理し易い 分析や機械学習に利用するためのデータを揃えやすい データレイクのデメリットについて 何が入っているかわからなくなる（データの沼化） データの品質と整…

こんにちは。エンタープライズクラウド部 松田です。 今回は、Databricks公式チュートリアルを通して行った結果、得られた知識や、 やや理解しにくかった概念も含めて、できる限りわかりやすくお伝えできればと思います。 前提 チュートリアルの構成 チュー…

Databricks では DBU (Databricks Unit) という独自の単位で課金されます。この記事では、Databricks on AWS の料金体系について整理し、実際に利用する際の考慮事項をまとめてみました。 前提 まずは Databricks のアーキテクチャを理解する DBU (Databrick…

タイムトラベル機能とは タイムトラベルの利点 Delta Lake の構成 Databricks でタイムトラベル機能を検証 テーブル作成 データ追加/更新/削除 過去のバージョンを表示する (タイムトラベル) データ削除について 予測的最適化 おわりに 参考 アプリケーショ…

はじめに AWS 上で Databricks を利用するには、2つの主な方法があります。 AWS Marketplace 経由でのサインアップ AWS Marketplace から Databricks のサービスを選択し、サブスクリプションを開始します これにより、Databricks の請求と AWS の請求を統合…