さとうです。 最近データ基盤のOLAPとOLTPについて考えることが増えてきたので記事にしました。 趣旨はタイトル通り、「OLTPデータベースをデータ基盤に取り込むためにはどうしたらいいか？」という課題に対する設計パターンのまとめです。 OLTPとOLAPについ…

さとうです。 以前、下記で社内勉強会の資料を公開しました。 社内で「低級言語が高級言語に置き換わったのと同じように自然言語が開発言語になる時代になった」など大局的な視点で時流を感じさせる議論の種になったり、あまり面識のなかった人がこの資料の…

さとうです。 先日、draw.ioのMCP Serverが公開されましたね。 blog.serverworks.co.jp このMCP Serverを使うと構成図からIaCが楽に起こせそうだったので記事にしてみます。 Diagram as CodeならぬCode as Diagram*1をやってみました。 Diagram as Codeでは…

さとうです。 皆さんはAmazon S3 Tablesを使ったことはありますでしょうか。 S3 Tablesは原理上OLAPに特化しておりOLTPには向いていないと言われていますが、実際のところどれくらい向いていないのかを検証してみました。 Amazon S3 Tablesについて OLTPとOL…

さとうです。 Amazon Quick SuiteにはIP/VPC制限でアクセス制御ができる機能があります。 docs.aws.amazon.com この設定で間違ったIPアドレスやレンジを指定して、誰もQuick Suiteに入れなくなってしまったらどうするのか？というTipsです。 そもそもそんな…

さとうです。 Amazon QuickSightがAmazon Quick Suiteにリブランディングされて「Quick Sight」になりましたが、これと同時にQuick Sightのデータセットも新しいUIが用意されて機能が大幅に強化されたことを皆さんはご存知でしょうか（以後Amazonは省略しま…

さとうです。 Quick SuiteのQuick Sight機能で、ダッシュボードをユーザ登録不要で公開できる匿名ユーザー向けの埋め込み機能があることはご存知でしょうか。 Amazon Quick Sight の埋め込み分析 - Amazon Quick Suite このダッシュボードは通常パブリックに…

さとうです。 初ブログとして、先日社内勉強会で登壇させて頂いた資料の共有をしたいと思います。 資料の全編はこちらからご確認いただけます。 ブログでは資料の内容を紹介させてください！ イントロ 用語整理 Text-to-SQLとは？ AWS MCP Serverとは？ Text…

さとうです。 先日AWS MCP ServerがPreviewで利用可能になりました。 blog.serverworks.co.jp 漠然と「AIにAWS触らせて大丈夫？今までのMCP Serverと何が違うの？」と疑問がある方向けにアクセス制御関連の情報をまとめたいと思います。 ※Preview版のサービ…

Step Functions愛好家になりつつあるさとうです。 皆さんはS3のマルチパートアップロードを自分で実装したことはありますか？ Step Functionsで簡単に実装できると思っていましたが、意外とハマりどころが多かったので実装サンプルと一緒にシェアしたいと思…

データ分析基盤構築に興味がある方必見！AWSサービスを活用した実践的なウェビナー資料とデモ環境を公開。

さとうです。 最近、AWS Step Functions（以後Step Functionsと呼びます）ばかり触っています。 使い込む中で、体系的に説明する記事を書きたくなったので書いてみたいと思います。 Step Functions職人を目指す方はぜひ参考にしてみてください。 ※長めの記事…

さとうです。 EC2にOfficeをインストールして使いたいケースで、AWSのSPLAの利用制限によりOffice付きのAMIからのデプロイを検討される方が多いのではないかと思います。 このEC2のバックアップ運用には大きな制約があるので、まとめておきたいと思います。 …

さとうです。 先日、Q in QuickSightが東京リージョンでGAになりました！ aws.amazon.com 日本語入力は今年になってからサポートし始めていましたが、地理的な制約がなくなることで日本でも導入が増えそうです。 Q in QuickSightについて 概要 料金 分析デー…

最近CDKデビューしたさとうです。 湿気で手がベタベタするので、この夏は湿気から逃れる避暑旅がしたいです それはともかく、AWS CDKのリストア運用に関するTipsをまとめてみました。 AWS CDK(Typescript、以下CDK)を前提としていること、ベストプラクティス…

さとうです。 表題の通りですが、データ分析基盤のジョブをStep Functionsで実装する場合とGlue Workflowで実装する場合の違いをまとめてみようと思います。 まとめと言う割には大長編になってしまいました！ 前提 データ分析基盤に必要なETLパイプライン Gl…

さとうです。 プライベートなEC2（外部からのインバウンド通信の接続を許可しない構成）へ外部から接続したい場合にはSSM Session ManagerやEC2 Instance Connectを利用することが多いと思います。 blog.serverworks.co.jp シェルに接続するだけならこれらの…

さとうです。 皆さんはどのようにAWSの構成図を描きますか？ VisioやCacooなど作図専用のサービスは多々ありますが、個人的にはdraw.ioが好きです。 draw.ioはXMLで構造化されているのでLLMで作図してくれるのではないかと思い、タイトルの通り試してみまし…

ES課研修中の佐藤（こ）です。 突然ですが、つい最近AWS re:Invent 2024でも発表されていたAmazon S3 MetadataがついにGAとなりました！ Amazon S3 Metadata is now generally available - AWS blog.serverworks.co.jp 東京リージョンではまだ利用できません…