サーバーワークスの村上です。 このブログでは Amazon Quick Suite を使い、Kaggleの小売データセットを題材に、簡単な顧客離反（Churn）分析をやってみます（推論ではなくデータ分析）。 概要 Amazon Quick Suiteについて 使用するデータセットについて シ…
サーバーワークスの村上です。 今回はAmazon S3上にあるデータを外部テーブルとして分析する際、どのような方法があるか、主にHiveとApache Icebergを中心に比べてみました。 想定シーン パターン一覧 結論：Hive形式 とApache Iceberg形式の比較 扱うJSONデ…
サーバーワークスの村上です。 このブログではAmazon Q in QuickSightについてご紹介させていただきます。 AWSの生成AIスタック全体像 今回利用するデータ 機能紹介 自然言語によるビジュアル作成・編集 エグゼクティブサマリーの自動生成 QA機能によるイン…
サーバーワークスの村上です。 お客様の生成AI活用支援では、RAGの運用を支援する機会も多いです。 このブログでは、RAGのオフライン評価についてご紹介します。 なぜ評価をするのか オフライン評価とは シーン設定 RAGの導入は済んでいる ユーザーの使用履…
サーバーワークスの村上です。 このブログでは掲題の件について、設定方法をご紹介します。 イメージ 前提 手順 SageMaker AI Studioのユーザープロファイル作成 IAMユーザーにタグを付与 IAMポリシーを作成 補足 IAMユーザーにIAMポリシーを適用 動作確認 …
サーバーワークスの村上です。 2025年2月24日（日本時間25日）にAnthropic の Claude 3.7 Sonnet が発表され、Amazon Bedrockでも利用可能になりました。 aws.amazon.com 利用可能なリージョンと料金 特徴①：Reasoning モデルである Reasoning モデルとは プ…
サーバーワークスの村上です。 ナレッジベースでマルチモーダル処理がサポートされたとのことで早速試してみます。 aws.amazon.com 個人的なまとめ （おさらい）これまでパース処理は2種類 re:Invent2024以降のパース処理は3種類 Amazon Bedrock Data Automa…
サーバーワークスの村上です。 2024年のre:Inventも昨年に引き続き、多くの機械学習関連のアップデートが出てきています。 本ブログではその内の1つであるRAG評価についてご紹介します。 サーバーワークスではお客様にRAGの運用支援も提供しています。RAG評…
サーバーワークスの村上です。 サーバーワークスではAWSを活用した生成AIの導入・運用支援をやっています。 www.serverworks.co.jp 「生成AI使って何ができるの？」という段階から伴走支援させていただきます。 このブログでは生成AIの使い道の一例、という…
サーバーワークスの村上です。 2024年7月に Amazon Bedrock のナレッジベースに登場した新機能である Advanced parsing に関するブログです。 aws.amazon.com そもそもナレッジベースとは？という方は以下のブログもご参照ください。 blog.serverworks.co.jp…
サーバーワークスの村上です。 先日、「導入して終わり」にしない、 生成AI活用のファーストステップと運用のコツというタイトルでウェビナー登壇させていただきました。 www.serverworks.co.jp ウェビナーではAmazon Bedrockの基本的な内容やRAG運用の弊…
サーバーワークスの村上です。 2024年7月10日に行われたAWS New York Summitで生成AI関連のアップデートがいくつかありました。 ナレッジベース関連でも激アツなアップデートがあり、このブログではAdvanced RAG機能について紹介させていただきます。 追加の…
サーバーワークスの村上です。 2024年4月24日にGuardrails for Amazon Bedrockの一般提供が開始されました。 aws.amazon.com Guardrails for Amazon Bedrockでは、各種フィルターを設定し、生成AIアプリケーションの有害な入力・出力をブロックすることがで…
サーバーワークスの村上です。 Amazon BedrockでClaude 3 Opusが利用可能になったというアップデートがありました。 aws.amazon.com これでClaude 3ファミリーすべてがAmazon Bedrockで利用可能になりました。 このブログではあらためてClaude 3 ファミリー…
サーバーワークスの村上です。 2024年3月1日のアップデートでKnowledge Bases for Amazon Bedrockがハイブリッド検索に対応しました。 以前にも「RAGの主役は生成AIではなく検索システムだ」というブログで検索の重要性を書いていますが、今回ハイブリッド検…
サーバーワークスの村上です。 2024年3月4日にAnthropic社のClaude 3が発表されました。 www.anthropic.com どうやらAmazon Bedrockでも使えるとのことでしたので早速試してみました。 aws.amazon.com 2024年4月17日追記：Claude 3 ファミリーがすべて使用可…
サーバーワークスの村上です。 今回は時系列データの異常を検出し、その原因の特定に有用なAmazon Lookout for Metricsについて紹介します。 まずは結論 セットアップの流れ Detectorの作成 データソースの選択 Detector modeの選択 バックテスト 連続モード…
サーバーワークスの村上です。 2023年10月にAmazon BedrockとSlackを使った、RAG構成のチャットボットを作ってみました。 blog.serverworks.co.jp 3か月が経った今、なんとこのアプリはサーバーワークスの社内ルールやナレッジなど様々な情報を基に回答する…
サーバーワークスの村上です。 このブログではRAGの評価フレームワークであるragasについて紹介します。 ragasとは RAGの評価イメージ ragasでできること概要（忙しい方向けのまとめ） このブログで検証したこと ragasの利用の流れ テストデータの作成 RAGア…
サーバーワークスの村上です。 煽った感じのタイトルですが、検索も大事だよね、と捉えていただけると幸いです。 このブログでは、同じ意味だけど検索対象ドキュメントとは違う言葉を使って検索した際に、きちんと検索できるのか検証してみました。 最初に記…
サーバーワークスの村上です。 今年もre:Invent 2023が終わりましたね。多くのアップデートがあり色々キャッチアップしないといけないので、むしろこれからという感じでしょうか。 さて、このブログでは、re:Invent 2023で発表されたAgents for Amazon Bedro…
サーバーワークスの村上です。 現地11月28日に行われたAdam Selipsky Keynoteでは、Knowledge base for Amazon BedrockのGAなどが発表されましたが、発表の中で「明日のDr Swami のKeynoteもお楽しみに」という発言がありました。 「これは明日が本番だな...…
サーバーワークスの村上です。 re:Invent 2023の2日目はAmazon Bedrock関連で複数のアップデートがありました。 このブログでは、注目のアップデートであるKnowledge base for Amazon Bedrockについて紹介します。 aws.amazon.com その他のre:Invent関連ブロ…
サーバーワークスの村上です。 re:Invent 2023、今年も始まりましたね。 さっそくBedrock関連のアップデートを紹介します。 結論 AWS Step Functionsとは？ AWS Step Functionsに追加されたAmazon BedrockのAPIは2つ LLMの出力をLLMにチェックさせてみた 全…
サーバーワークスの村上です。 このブログではAmazon Bedrockをモニタリングするツールについて、主にCloudWatchとWeights & Biasesを比較していきます。 後述しますが、Weights & BiasesはAWSサービスではなく、機械学習の実験管理などに使われるサードパー…
サーバーワークスの村上です。 ハロウィンが終わり11月になりました。224cmルーキー、ウェンバンヤマによるスレンダーマンの仮装を貼っておきます。 Happy HalloWemby! Spurs/Suns, 10pm/et on TNT pic.twitter.com/ZCNU1f5oBh— NBA (@NBA) 2023年10月31日 …
サーバーワークスの村上です。 10月といえば一番に思いつくのがNBAシーズンの開幕ですよね。今期も脳死で課金します。 Year 6 pic.twitter.com/1TwqNSTrOH— Yuta Watanabe 渡邊 雄太 (@wacchi1013) 2023年10月3日 さて、このブログはAmazon BedrockとSlackを…
サーバーワークスの村上です。 Amazon Bedrockが2023年9月28日ついにGA（一般公開）されました。 aws.amazon.com 使用可能なリージョン us-east-1 (バージニア北部) とus-west-2 (オレゴン)のみです。 ブログ執筆現在で東京リージョンは未対応です。 2023年1…
サーバーワークスの村上です。 NBAシーズン開幕まであと約1ヶ月、楽しみですね！ 昨季優勝したナゲッツが呪術廻戦のエンディング風に試合スケジュールを公開していますので貼っておきますね。 Domain Expansion: Schedule Release pic.twitter.com/TmnZEFlw…
サーバーワークスの村上です。 NBAは絶賛シーズンオフですが、渡邊選手、八村選手ともに複数年契約きましたね！ Yuta Watanabe has agreed on a deal with the Phoenix Suns, per @ShamsCharania pic.twitter.com/8lcwvOlHsx— NBA on TNT (@NBAonTNT) 2023年…
サーバーワークスの村上です。 NBAの2022-2023シーズンが終わってしまいましたね。。感動がいっぱいでした、来年も脳死で課金します。 YOUR DENVER NUGGETS ARE THE 2023 NBA CHAMPIONS #bRINGItIn pic.twitter.com/aOHqbUYwOx— Denver Nuggets (@nuggets) 2…
サーバーワークスの村上です。 NBAはいよいよカンファレンスファイナルが始まりますね！ 正直レイカーズがここまで勝ち上がるとは思っていませんでした、とっても楽しみです。 Los Angeles — Denver pic.twitter.com/QrA3zIQr2O— Los Angeles Lakers (@Laker…
サーバーワークスの村上です。 今年のNBAプレイオフは例年より盛り上がっている感があっていいですね。第8シードのチームが第1シードのチームを下したのは1994年以来らしいですよ。 我らが八村選手も1996年のマジック・ジョンソン以来、レイカーズで「プレイ…
こんにちは、サーバーワークスの村上です。 ついにレイカーズがプレイイン圏内の順位に上がりましたね（2023年3月10日現在）。 What a night pic.twitter.com/eWU0N73cXa— Los Angeles Lakers (@Lakers) 2023年3月8日 プレイオフも見えてきた！ということで…
こんにちは。村上です。 見ましたか？見ましたよね、NBAオールスター。 スラムダンクコンテストが最高に盛り上がりましたね。 【もはや芸術の域？】米スラムダンクコンテストで優勝、マクラングの「技」に観客も興奮pic.twitter.com/vHqJEA65iv— ライブドア…
クラウドインテグレーション部の村上です。 2023年1月26日は記念すべき日でしたね！ ようこそ the #LakeShow, 八村塁選手 pic.twitter.com/lwtvKS568D— Los Angeles Lakers (@Lakers) 2023年1月24日 八村選手、日本人初のレイカーズデビュー＆視聴サイトのサ…
クラウドインテグレーション部の村上です。NBAが大好きです。 渡邊選手も八村選手もケガから復帰したので毎日楽しみですね。 Everybody eats pic.twitter.com/y479KqAOvn— Brooklyn Nets (@BrooklynNets) 2022年12月22日 さて、今回はAmazon SageMaker Clar…
クラウドインテグレーション部の村上です。NBAが大好きです。 2年ほど前、仕事中後にNBAを見ていると、選手全員のユニフォームに「Black Lives Matter」という文字が書かれていました。 #BlackLivesMatter pic.twitter.com/5ehR6gLX8F— Toronto Raptors (@Ra…
こんにちは。クラウドインテグレーション部の村上です。 AWS re:Invent 2022、終わりましたね。今回も「アップデート数半端ないって!」でしたね。 さて、今回のre:Inventで発表されたAmazon SageMakerのShadow Testsを試してみましたので、よければ見てくだ…
クラウドインテグレーション部の村上です。 Amazon RDS for SQL ServerでSQL Server Reporting Services (SSRS)を見てみたので、今回はその手順を備忘録として残しておきたいと思います。 前提 SQL Server Reporting Services (SSRS)とは？ SSRSを使用できる…
クラウドインテグレーション部の村上です。 今回は「SageMaker Data Wranglerとはどのようなサービスかさわって学ぶ」というテーマで書いていきます。 機械学習におけるSageMaker Data Wranglerの位置づけ データの前処理って大事 SageMaker Data Wranglerの…
クラウドインテグレーション部の村上です。 今回はSageMaker Autopilotをやってみたブログです。 チュートリアルではなく、Kaggleのコンペで使ってみたらどうなるんだろう？という内容です。 興味があれば読んでください！ Kaggleってなに？ Kaggleとは 参加…
CI部の村上です。 前回に続きEKS・Datadogの話題です。 blog.serverworks.co.jp はじめに Kubernetesでのリソース管理について EKSに限らずKubernetesでは、各コンテナがCPUやメモリをどれだけ使用しても良いか、マニフェストで定義します。 具体的には、spe…
CI部の村上です。 今回はEKSのノードにデプロイ可能なPodの数をDatadogで見てみたという話です。 はじめに 今回検証した環境 ノードにデプロイできるPod数に制限があるのはなぜか インスタンスタイプごとの最大Pod数 実際に確かめてみる そもそも監視する必…
CI部の村上です。 小ネタ的な記事ですが、掲題の件について紹介します。 前提 Helmとは Helmのインストール Kubeconfigとは 環境設定について EKSクラスターの状態 kubeconfigの設定 Helmのバージョン test02のEKSクラスターにデプロイしたい場合どうするか …
クラウドインテグレーション部の村上です。 今回はMFA（多要素認証）の設定方法について紹介します。 今回紹介するWinAuthは名前からも分かるとおり、Windows PC対応のMFAソフトです。 スマホアプリのAuthyを使ったMFA設定方法は、別の記事がありますので参…
クラウドインテグレーション部の村上です。 パブリックIPアドレスを持たないEC2に、ローカルからファイルを転送したい場面ってありますよね。 今回は備忘も兼ねてその方法をまとめます。ファイル転送ツールはいくつかありますが今回はWinSCPとFileZillaをピ…
クラウドインテグレーション部の村上です。 今回はAWSのデータ移行サービスであるAWS DataSyncを紹介します。 データ移行のOverView データ移行の手法はAWS DataSync以外にもあります。一番に思いつくのはAWS Snow Familiyではないでしょうか。 こちらにデー…
クラウドインテグレーション部の村上です。 今回はAWSのマネージドなネットワーク保護サービスであるAWS Network Firewallについて検証してみました。 AWS Network Firewallのルールグループは5-tuple形式やDomain list形式を使って作成することが多いかと思…
クラウドインテグレーション部の村上です。 今回はAWSのVDI（仮想デスクトップ基盤）サービス、WorkSpacesに対してリモートデスクトップ（RDP）接続する手順について紹介します。 やりたいこと 以下のようにプライベートなサブネットにあるWorkSpaceに踏み台…
