機械学習

【re:Invent 2023】Amazon Bedrockで使えるモデルが増えました!Dr Swami Sivasubramanian Keynoteで発表されたBedrock関連のアップデート

サーバーワークスの村上です。 現地11月28日に行われたAdam Selipsky Keynoteでは、Knowledge base for Amazon BedrockのGAなどが発表されましたが、発表の中で「明日のDr Swami のKeynoteもお楽しみに」という発言がありました。 「これは明日が本番だな...…

【re:Invent 2023】Knowledge base for Amazon BedrockがGAしたので解説します

サーバーワークスの村上です。 re:Invent 2023の2日目はAmazon Bedrock関連で複数のアップデートがありました。 このブログでは、注目のアップデートであるKnowledge base for Amazon Bedrockについて紹介します。 aws.amazon.com その他のre:Invent関連ブロ…

【re:Invent 2023】AWS Step FunctionsにAmazon BedrockのAPIが追加されたので、LLMの出力をLLMにチェックさせてみた

サーバーワークスの村上です。 re:Invent 2023、今年も始まりましたね。 さっそくBedrock関連のアップデートを紹介します。 結論 AWS Step Functionsとは? AWS Step Functionsに追加されたAmazon BedrockのAPIは2つ LLMの出力をLLMにチェックさせてみた 全…

Amazon Bedrockのモニタリングを考える

サーバーワークスの村上です。 このブログではAmazon Bedrockをモニタリングするツールについて、主にCloudWatchとWeights & Biasesを比較していきます。 後述しますが、Weights & BiasesはAWSサービスではなく、機械学習の実験管理などに使われるサードパー…

Amazon Bedrockの入出力に個人情報が含まれていたらAmazon Comprehendでフィルタする

サーバーワークスの村上です。 ハロウィンが終わり11月になりました。224cmルーキー、ウェンバンヤマによるスレンダーマンの仮装を貼っておきます。 Happy HalloWemby! Spurs/Suns, 10pm/et on TNT pic.twitter.com/ZCNU1f5oBh— NBA (@NBA) 2023年10月31日 …

Amazon BedrockとSlackによるRAG(検索拡張生成)構成

サーバーワークスの村上です。 10月といえば一番に思いつくのがNBAシーズンの開幕ですよね。今期も脳死で課金します。 Year 6 pic.twitter.com/1TwqNSTrOH— Yuta Watanabe 渡邊 雄太 (@wacchi1013) 2023年10月3日 さて、このブログはAmazon BedrockとSlackを…

大規模言語モデル(LLM)を使ってFAQページに沿って答えてくれるチャットボットをつくろう

サーバーワークスの村上です。 NBAシーズン開幕まであと約1ヶ月、楽しみですね! 昨季優勝したナゲッツが呪術廻戦のエンディング風に試合スケジュールを公開していますので貼っておきますね。 Domain Expansion: Schedule Release pic.twitter.com/TmnZEFlw…

Amazon SageMaker JumpStart で Stable Diffusion XL 1.0が利用可能になりました

サーバーワークスの村上です。 NBAは絶賛シーズンオフですが、渡邊選手、八村選手ともに複数年契約きましたね! Yuta Watanabe has agreed on a deal with the Phoenix Suns, per @ShamsCharania pic.twitter.com/8lcwvOlHsx— NBA on TNT (@NBAonTNT) 2023年…

Lambda関数とPapermillでJupyterノートブックをバッチ実行する

AWSにおいてJupyterノートブックを実行する場合は、通常はSageMakerの画面でノートブックインスタンスを起動してJupyterを画面を開いて実行します。 つまり、手作業なりますが、Papermillというツールを使えばバッチ実行が可能です。 本記事ではPapermillを…

Amazon SageMaker Trainingで組み込みアルゴリズムを使って機械学習モデルを作成する

サーバーワークスの村上です。 NBAの2022-2023シーズンが終わってしまいましたね。。感動がいっぱいでした、来年も脳死で課金します。 YOUR DENVER NUGGETS ARE THE 2023 NBA CHAMPIONS #bRINGItIn pic.twitter.com/aOHqbUYwOx— Denver Nuggets (@nuggets) 2…

Amazon SageMaker Jumpstartで大規模言語モデル(LLM)を試してみた

サーバーワークスの村上です。 NBAはいよいよカンファレンスファイナルが始まりますね! 正直レイカーズがここまで勝ち上がるとは思っていませんでした、とっても楽しみです。 Los Angeles — Denver pic.twitter.com/QrA3zIQr2O— Los Angeles Lakers (@Laker…

SageMaker StudioとSageMaker Notebooksの違い

こんにちは。村上です。 見ましたか?見ましたよね、NBAオールスター。 スラムダンクコンテストが最高に盛り上がりましたね。 【もはや芸術の域?】米スラムダンクコンテストで優勝、マクラングの「技」に観客も興奮pic.twitter.com/vHqJEA65iv— ライブドア…

【アップデート】Amazon Personalizeでデータセットの分析が簡単にできるようになりました

クラウドインテグレーション部の村上です。 2023年1月26日は記念すべき日でしたね! ようこそ the #LakeShow, 八村塁選手 pic.twitter.com/lwtvKS568D— Los Angeles Lakers (@Lakers) 2023年1月24日 八村選手、日本人初のレイカーズデビュー&視聴サイトのサ…

タイタニック号で生死を分けたものはなに?さわって学ぶAmazon SageMaker Data Wrangler

クラウドインテグレーション部の村上です。 今回は「SageMaker Data Wranglerとはどのようなサービスかさわって学ぶ」というテーマで書いていきます。 機械学習におけるSageMaker Data Wranglerの位置づけ データの前処理って大事 SageMaker Data Wranglerの…

Amazon SageMaker AutopilotでKaggleに参加してみた

クラウドインテグレーション部の村上です。 今回はSageMaker Autopilotをやってみたブログです。 チュートリアルではなく、Kaggleのコンペで使ってみたらどうなるんだろう?という内容です。 興味があれば読んでください! Kaggleってなに? Kaggleとは 参加…

新しいサーバーレスな推論エンドポイント Amazon SageMaker Serverless Inference (preview)の紹介!

これまでAmazon SageMakerで推論を実行する場合、エンドポイント(リアルタイム or 非同期)としてデプロイするかバッチ変換ジョブで実行するかの3種類がありました。re:invent 2021では新たなオプションであるAmazon SageMaker Serverless Inference (previ…

ついに出た!AWSの無料で使えるJupyterLab環境 Amazon SageMaker Studio Lab (プレビュー)

AWSマネージドなJupyter環境はAmazon SageMakerノートブックインスタンスやAmazon SageMaker Studioがありました。新しく登場したAmazon SageMaker Studio LabもJupyterLab環境ですが、いったいどのようなサービスなのでしょうか? Amazon SageMaker Studio …

ノーコードで始める機械学習 Amazon SageMaker Canvasを使おう!

re:invent 2021でもAmazon SageMakarのアップデートがありました。その1つがAmazon SageMaker Canvasです。昨年のre:invent 2020 ではAmazon SageMakerの新機能が発表され機械学習の開発環境として大幅に強化されました。今回発表されたAmazon SageMaker Can…

Amazon SageMaker JumpStartを使って機械学習プロジェクトを始める: Solution編

去年のre:inventでも機能の追加が多く発表されたAmazon SageMaker。なんだかんだあってAmazon SageMakerの調査・技術検証を進められていませんでしたが、久しぶりにさわってみるとかなり便利になっていました。Amazon SageMakerは、正直言うとデータサイエン…

Amazon Lookout for Vision の運用を考える

SRE部 佐竹です。 今回のブログではGA後に本番環境で使うことを想定し Amazon Lookout for Vision の運用を深く考えてみました。AWS環境構成図を利用して、わかりやすく説明します。

ML-powered voice authentication with Amazon Connect Voice ID視聴レポート

はじめに こんにちは!孔子の80代目子孫兼技術4課の孔です。Amazon Connectの新しい機能が発表されました!以下のセッションでお聞きいただければと思います。 https://virtual.awsevents.com/media/1_sewgt95k それでは、早速本題となります。 セッション概…

「[NEW LAUNCH!] Amazon Lookout for Vision」視聴レポート!!!!!!

こんにちは セッションレポート 課題 Amazon Lookout for Vision Amazon Lookout for Visionのメリット Amazon Lookout for Visionの特徴 後半はデモとパートナーの紹介 気になったこと まとめ こんにちは この記事は [NEW LAUNCH!] Amazon Lookout for Visi…

AWSで始める時系列予測。Amazon ForecastかAmazon SageMakerかどちらを使うべき?

はじめに 商品の需要予測や何らかのリソースの稼働の予測などを、時系列予測で実施したいとき、AWSのマネージドサービスでは2つの選択肢があります。Amazon ForecastとAmazon SageMakerです(もちろんECSやEC2上で自分たちで実装する方法もありますが、今回…

Jetson NanoでAWS IoT Greengrassを使う Device Shadow編

そもそもJetsonという製品群はエッジでモデルのトレーニングもできてしまうようなデバイスなので簡単なことであればクラウドは必要ないかもしれません。 Jetsonの強みはエッジで機械学習できることなので、クラウドへセンサーデータを送り推論みたいなことは…

Jetson NanoでAWS IoT Greengrassを使う Lambda編

前回に引き続きJetson NanoとAWS IoT Greengrassを設定していきます。 今回はドキュメントのモジュール3に沿って、Lambdaのデプロイを試してみます。 なのでほとんどJetson nanoと関係ないです。 1. Lambda関数の作成 まずはPCやMacやらでサンプルの関数を作…

Jetson NanoでAWS IoT Greengrassを使う 環境設定編

なんだかんだあってJetson Nano 開発者キットを買いました。 B01版が発売される直前に買ったので、A02版ですわ。 せっかくなのでAWS IoTと絡めて何かしたいと思います。 今回はとりあえずAWS IoT Greengrassの環境設定。 こちらのドキュメントのモジュール1,…

Jetson NanoでAWS IoT Greengrassを使う エッジで機械学習編その1

さてこれまではほとんどAWS IoTの話でしたが、Jetson Nanoを利用し、エッジで機械学習 × IoTみたないことをやっていきます。 弊社はクラウドの会社なのでこういったデバイスを扱うことはほとんどないのですが、今回はPytorchのMNISTのサンプルを動かしてJets…

Amazon SageMaker Notebooksを使ってみる

Amazon SageMaker NotebooksがGAされたようなのでさっそく使ってみます。 1. そもそもAmazon SageMaker Notebooksとは? Amazon SageMaker Studioに含まれる機能の1つです。Amazon SageMaker StudioはSageMakerの統合開発環境ですが、Amazon SageMaker Noteb…

AWS DeepComposer:別のキーボードでも動くか試してみた

こんにちは!技術2課、濱岡です。 先日、どうぶつの森でマグロを釣ろうと奮闘していたらリュウグウノツカイが釣れました。(通算2回目) 無事、マグロは釣れました。 さて、今回は、みなさん気になっているんじゃないかと思いましてAWS DeepComposerのこちらの…

AWS DeepComposerで遊んでみた その2

こんにちは!技術2課の濱岡です。 どうぶつの森が毎日の日課になっています。 先日、マグロを釣ろうと奮闘していたらリュウグウノツカイが釣れました。 さて、今回はAWS DeepComposerで遊んでみた第2弾です。 前回はこちらですのでよろしければ読んでみて…

AWS DeepComposerで遊んでみた

こんにちは!技術2課の濱岡です。 みなさん、どうぶつの森で遊んでいますか? 私は借金まみれです笑 AWS DeepComposerが正式にリリースされましたので遊んでみました! ここを見るとわかるのですがすごい興奮が伝わってきますね!! AWS DeepComposerとは AW…

社長AIをつくりたい (1) モデル作成

目的 皆さんは考えたことはあるでしょうか? 「もし、会社が未来から来たロボットにつぶされてしまったらどうしよう?」と。 未来のロボットはきっと現代のものより高性能なAIを搭載していることでしょう。 ではそのような未来から来たロボットから会社を守…

【AWS DeepRacer】トレーニングで走らせるDeepRacerをカスタム

コンニャクハ トレーニングで走らせるDeepRacerをカスタムできるようになりました。 これまでもスピードとかステアリングとかは設定可能でしたよね。 それらに加えてカメラの1つ or 2つを選択できるようになったのとセンサーの有無が選択できるようになりま…

Amazon Comprehendで日本語が使えるようになったので社長のブログを分析してみた

こんちくわ。 Amazon Comprehendで日本語が使えるようになりました。 弊社社長の大石のブログの文章をつかってどんな具合か見てみたいと思います。 方法 2019/11/07現在、Amazon Comprehendで日本語がサポートされているのはエンティティ分析・キーフレーズ…

AWS Certified Machine Learning – Specialty に合格したので自慢したい

合格しました はい、先々月合格しました。一発合格です。 AWS 認定 機械学習 – 専門知識 このブログは自慢が目的なので参考になるかどうか・試験までに勉強したことが役に立ったかどうかは不明です。 どんな問題がでるかは実際に受けて確かめてください。 勉…

Amazon SageMakerで熱帯魚を判別

Amazon SageMakerでお魚を判別したいときってありますよね。 というわけで今回はSageMakerでお魚を判別してみました。 準備 撮影 魚の写真を撮りまくります。 水槽側面や水草にコケがついてますが、サイアミーズが食べないせいであって、僕のせいではないで…

Amazon Personalizeをつかって簡単レコメンデーション

2019/06/12にAmazon Personalizeの一般提供が開始されました。 Amazon Personalize の一般提供開始と東京リージョンラウンチのおしらせ モデル(Personalizeではレシピと呼ばれる)をトレーニングし、レコメンデーション機能が簡単に作成できるAWSサービスです…

AWSで始める機械学習その1『Comprehend Customを使おう!』

AWSではマネージドな機械学習サービスが様々提供されています。 ComprehendやTranscribe等で、ユーザーがInputを与え簡単に機械学習で予測することはもちろん、SageMakerで しかし、私のような機械学習初心者からすると、いきなりSageMakerを使うのはハード…

AWS Marketplaceのモデルを使ってみた

こんにちは、PS課の峯です。 Amazon Sagemakerではユーザーがモデルをトレーニングしてデプロイするだけでなく、AWS Marketplaceでトレーニング済みモデルを購入しデプロイすることもできます。 SageMakerの左下からAWS Marketplaceへ。 すでにAmazon Sagema…

【社内勉強会】『機械学習を始める前の「学習」』を発表しました

こんにちは、技術4課の多田です。 先日、機械学習の基礎的な内容をテーマにした社内勉強会を開催したので、資料を公開します。 去年からAIの分野に興味をもって機械学習やディープラーニングを0から勉強し始めました。 最近機械学習の実践としてJupyter Note…

AWS 機械学習サービスまとめ 2018年版

こんにちは、PS課のミネです。 昨年のre:invent 2017ではSageMakerが発表され、今年のre:invent 2018でもAmazon PersonalizeやAmazon Forecastなどが発表されました。AWSの機械学習サービスもかなり充実してきたのではないでしょうか。 今回はそれぞれのサー…

Amazon Comprehendで分析にかける3つの方法

こんにちは、技術3課の峯です。 今回はAmazon Comrehendで分析を実行する3つの方法についてご紹介します。 Amazon Comprehendとは そもそもAmazon Comprehendとはどういったサービスでしょうか?Amazon ComprehendはAWSが提供する自然言語処理サービスです。…

Amazon Transcribeを利用する時のIAMポリシーについて Part3

前回はカスタム語彙へのアクションに必要な権限について説明しました。ジョブの実行時にカスタム語彙を指定できますが、カスタム語彙を指定したジョブを実行するときにはどんな権限が必要になるのでしょうか? コンソールの場合 まずは以下のような権限で試…

Amazon Transcribeを利用する時のIAMポリシーについて Part2

Amazon Transcribeを利用する時のIAMポリシーについて Part1では、IAMポリシーで設定できるアクションは3つと述べましたが、Amazon Transcribeの機能を考えるとアクションが3つしかないはずがありません。 Amazon Transcribeのアクション APIリファレンスを…

Amazon Transcribeを利用する時のIAMポリシーについて Part1

こんにちは、技術3課の峯です。 今回はAmazon Transcribeを利用する時のIAMポリシーについて説明したいと思います。 アクション IAMポリシービジュアルエディターで設定できるAmazon Transcribeのアクションは以下の3つです。 ListTranscriptionJobs GetTran…

Amazon Transcribeがアウトプットする場所について

こんにちは、技術3課の峯です。 先日2018/07/11にAmazon Transcribeでアウトプットの場所に自身のS3バケットを指定できるようになりました。これまではAmazon Transcribeで管理されているS3バケットに結果が保存され、ユーザーは署名付きURLから結果をダウン…