機械学習
サーバーワークスの村上です。 現地11月28日に行われたAdam Selipsky Keynoteでは、Knowledge base for Amazon BedrockのGAなどが発表されましたが、発表の中で「明日のDr Swami のKeynoteもお楽しみに」という発言がありました。 「これは明日が本番だな...…
サーバーワークスの村上です。 re:Invent 2023の2日目はAmazon Bedrock関連で複数のアップデートがありました。 このブログでは、注目のアップデートであるKnowledge base for Amazon Bedrockについて紹介します。 aws.amazon.com その他のre:Invent関連ブロ…
サーバーワークスの村上です。 re:Invent 2023、今年も始まりましたね。 さっそくBedrock関連のアップデートを紹介します。 結論 AWS Step Functionsとは? AWS Step Functionsに追加されたAmazon BedrockのAPIは2つ LLMの出力をLLMにチェックさせてみた 全…
サーバーワークスの村上です。 このブログではAmazon Bedrockをモニタリングするツールについて、主にCloudWatchとWeights & Biasesを比較していきます。 後述しますが、Weights & BiasesはAWSサービスではなく、機械学習の実験管理などに使われるサードパー…
サーバーワークスの村上です。 ハロウィンが終わり11月になりました。224cmルーキー、ウェンバンヤマによるスレンダーマンの仮装を貼っておきます。 Happy HalloWemby! Spurs/Suns, 10pm/et on TNT pic.twitter.com/ZCNU1f5oBh— NBA (@NBA) 2023年10月31日 …
サーバーワークスの村上です。 10月といえば一番に思いつくのがNBAシーズンの開幕ですよね。今期も脳死で課金します。 Year 6 pic.twitter.com/1TwqNSTrOH— Yuta Watanabe 渡邊 雄太 (@wacchi1013) 2023年10月3日 さて、このブログはAmazon BedrockとSlackを…
サーバーワークスの村上です。 NBAシーズン開幕まであと約1ヶ月、楽しみですね! 昨季優勝したナゲッツが呪術廻戦のエンディング風に試合スケジュールを公開していますので貼っておきますね。 Domain Expansion: Schedule Release pic.twitter.com/TmnZEFlw…
サーバーワークスの村上です。 NBAは絶賛シーズンオフですが、渡邊選手、八村選手ともに複数年契約きましたね! Yuta Watanabe has agreed on a deal with the Phoenix Suns, per @ShamsCharania pic.twitter.com/8lcwvOlHsx— NBA on TNT (@NBAonTNT) 2023年…
AWSにおいてJupyterノートブックを実行する場合は、通常はSageMakerの画面でノートブックインスタンスを起動してJupyterを画面を開いて実行します。 つまり、手作業なりますが、Papermillというツールを使えばバッチ実行が可能です。 本記事ではPapermillを…
サーバーワークスの村上です。 NBAの2022-2023シーズンが終わってしまいましたね。。感動がいっぱいでした、来年も脳死で課金します。 YOUR DENVER NUGGETS ARE THE 2023 NBA CHAMPIONS #bRINGItIn pic.twitter.com/aOHqbUYwOx— Denver Nuggets (@nuggets) 2…
サーバーワークスの村上です。 NBAはいよいよカンファレンスファイナルが始まりますね! 正直レイカーズがここまで勝ち上がるとは思っていませんでした、とっても楽しみです。 Los Angeles — Denver pic.twitter.com/QrA3zIQr2O— Los Angeles Lakers (@Laker…
こんにちは。村上です。 見ましたか?見ましたよね、NBAオールスター。 スラムダンクコンテストが最高に盛り上がりましたね。 【もはや芸術の域?】米スラムダンクコンテストで優勝、マクラングの「技」に観客も興奮pic.twitter.com/vHqJEA65iv— ライブドア…
クラウドインテグレーション部の村上です。 2023年1月26日は記念すべき日でしたね! ようこそ the #LakeShow, 八村塁選手 pic.twitter.com/lwtvKS568D— Los Angeles Lakers (@Lakers) 2023年1月24日 八村選手、日本人初のレイカーズデビュー&視聴サイトのサ…
クラウドインテグレーション部の村上です。 今回は「SageMaker Data Wranglerとはどのようなサービスかさわって学ぶ」というテーマで書いていきます。 機械学習におけるSageMaker Data Wranglerの位置づけ データの前処理って大事 SageMaker Data Wranglerの…
クラウドインテグレーション部の村上です。 今回はSageMaker Autopilotをやってみたブログです。 チュートリアルではなく、Kaggleのコンペで使ってみたらどうなるんだろう?という内容です。 興味があれば読んでください! Kaggleってなに? Kaggleとは 参加…
これまでAmazon SageMakerで推論を実行する場合、エンドポイント(リアルタイム or 非同期)としてデプロイするかバッチ変換ジョブで実行するかの3種類がありました。re:invent 2021では新たなオプションであるAmazon SageMaker Serverless Inference (previ…
AWSマネージドなJupyter環境はAmazon SageMakerノートブックインスタンスやAmazon SageMaker Studioがありました。新しく登場したAmazon SageMaker Studio LabもJupyterLab環境ですが、いったいどのようなサービスなのでしょうか? Amazon SageMaker Studio …
re:invent 2021でもAmazon SageMakarのアップデートがありました。その1つがAmazon SageMaker Canvasです。昨年のre:invent 2020 ではAmazon SageMakerの新機能が発表され機械学習の開発環境として大幅に強化されました。今回発表されたAmazon SageMaker Can…
去年のre:inventでも機能の追加が多く発表されたAmazon SageMaker。なんだかんだあってAmazon SageMakerの調査・技術検証を進められていませんでしたが、久しぶりにさわってみるとかなり便利になっていました。Amazon SageMakerは、正直言うとデータサイエン…
SRE部 佐竹です。 今回のブログではGA後に本番環境で使うことを想定し Amazon Lookout for Vision の運用を深く考えてみました。AWS環境構成図を利用して、わかりやすく説明します。
はじめに こんにちは!孔子の80代目子孫兼技術4課の孔です。Amazon Connectの新しい機能が発表されました!以下のセッションでお聞きいただければと思います。 https://virtual.awsevents.com/media/1_sewgt95k それでは、早速本題となります。 セッション概…
こんにちは セッションレポート 課題 Amazon Lookout for Vision Amazon Lookout for Visionのメリット Amazon Lookout for Visionの特徴 後半はデモとパートナーの紹介 気になったこと まとめ こんにちは この記事は [NEW LAUNCH!] Amazon Lookout for Visi…
はじめに 商品の需要予測や何らかのリソースの稼働の予測などを、時系列予測で実施したいとき、AWSのマネージドサービスでは2つの選択肢があります。Amazon ForecastとAmazon SageMakerです(もちろんECSやEC2上で自分たちで実装する方法もありますが、今回…
そもそもJetsonという製品群はエッジでモデルのトレーニングもできてしまうようなデバイスなので簡単なことであればクラウドは必要ないかもしれません。 Jetsonの強みはエッジで機械学習できることなので、クラウドへセンサーデータを送り推論みたいなことは…
前回に引き続きJetson NanoとAWS IoT Greengrassを設定していきます。 今回はドキュメントのモジュール3に沿って、Lambdaのデプロイを試してみます。 なのでほとんどJetson nanoと関係ないです。 1. Lambda関数の作成 まずはPCやMacやらでサンプルの関数を作…
なんだかんだあってJetson Nano 開発者キットを買いました。 B01版が発売される直前に買ったので、A02版ですわ。 せっかくなのでAWS IoTと絡めて何かしたいと思います。 今回はとりあえずAWS IoT Greengrassの環境設定。 こちらのドキュメントのモジュール1,…
さてこれまではほとんどAWS IoTの話でしたが、Jetson Nanoを利用し、エッジで機械学習 × IoTみたないことをやっていきます。 弊社はクラウドの会社なのでこういったデバイスを扱うことはほとんどないのですが、今回はPytorchのMNISTのサンプルを動かしてJets…
Amazon SageMaker NotebooksがGAされたようなのでさっそく使ってみます。 1. そもそもAmazon SageMaker Notebooksとは? Amazon SageMaker Studioに含まれる機能の1つです。Amazon SageMaker StudioはSageMakerの統合開発環境ですが、Amazon SageMaker Noteb…
こんにちは!技術2課、濱岡です。 先日、どうぶつの森でマグロを釣ろうと奮闘していたらリュウグウノツカイが釣れました。(通算2回目) 無事、マグロは釣れました。 さて、今回は、みなさん気になっているんじゃないかと思いましてAWS DeepComposerのこちらの…
こんにちは!技術2課の濱岡です。 どうぶつの森が毎日の日課になっています。 先日、マグロを釣ろうと奮闘していたらリュウグウノツカイが釣れました。 さて、今回はAWS DeepComposerで遊んでみた第2弾です。 前回はこちらですのでよろしければ読んでみて…
こんにちは!技術2課の濱岡です。 みなさん、どうぶつの森で遊んでいますか? 私は借金まみれです笑 AWS DeepComposerが正式にリリースされましたので遊んでみました! ここを見るとわかるのですがすごい興奮が伝わってきますね!! AWS DeepComposerとは AW…
目的 皆さんは考えたことはあるでしょうか? 「もし、会社が未来から来たロボットにつぶされてしまったらどうしよう?」と。 未来のロボットはきっと現代のものより高性能なAIを搭載していることでしょう。 ではそのような未来から来たロボットから会社を守…
コンニャクハ トレーニングで走らせるDeepRacerをカスタムできるようになりました。 これまでもスピードとかステアリングとかは設定可能でしたよね。 それらに加えてカメラの1つ or 2つを選択できるようになったのとセンサーの有無が選択できるようになりま…
こんちくわ。 Amazon Comprehendで日本語が使えるようになりました。 弊社社長の大石のブログの文章をつかってどんな具合か見てみたいと思います。 方法 2019/11/07現在、Amazon Comprehendで日本語がサポートされているのはエンティティ分析・キーフレーズ…
合格しました はい、先々月合格しました。一発合格です。 AWS 認定 機械学習 – 専門知識 このブログは自慢が目的なので参考になるかどうか・試験までに勉強したことが役に立ったかどうかは不明です。 どんな問題がでるかは実際に受けて確かめてください。 勉…
Amazon SageMakerでお魚を判別したいときってありますよね。 というわけで今回はSageMakerでお魚を判別してみました。 準備 撮影 魚の写真を撮りまくります。 水槽側面や水草にコケがついてますが、サイアミーズが食べないせいであって、僕のせいではないで…
2019/06/12にAmazon Personalizeの一般提供が開始されました。 Amazon Personalize の一般提供開始と東京リージョンラウンチのおしらせ モデル(Personalizeではレシピと呼ばれる)をトレーニングし、レコメンデーション機能が簡単に作成できるAWSサービスです…
AWSではマネージドな機械学習サービスが様々提供されています。 ComprehendやTranscribe等で、ユーザーがInputを与え簡単に機械学習で予測することはもちろん、SageMakerで しかし、私のような機械学習初心者からすると、いきなりSageMakerを使うのはハード…
こんにちは、PS課の峯です。 Amazon Sagemakerではユーザーがモデルをトレーニングしてデプロイするだけでなく、AWS Marketplaceでトレーニング済みモデルを購入しデプロイすることもできます。 SageMakerの左下からAWS Marketplaceへ。 すでにAmazon Sagema…
こんにちは、技術4課の多田です。 先日、機械学習の基礎的な内容をテーマにした社内勉強会を開催したので、資料を公開します。 去年からAIの分野に興味をもって機械学習やディープラーニングを0から勉強し始めました。 最近機械学習の実践としてJupyter Note…
こんにちは、PS課のミネです。 昨年のre:invent 2017ではSageMakerが発表され、今年のre:invent 2018でもAmazon PersonalizeやAmazon Forecastなどが発表されました。AWSの機械学習サービスもかなり充実してきたのではないでしょうか。 今回はそれぞれのサー…
こんにちは、技術3課の峯です。 今回はAmazon Comrehendで分析を実行する3つの方法についてご紹介します。 Amazon Comprehendとは そもそもAmazon Comprehendとはどういったサービスでしょうか?Amazon ComprehendはAWSが提供する自然言語処理サービスです。…
前回はカスタム語彙へのアクションに必要な権限について説明しました。ジョブの実行時にカスタム語彙を指定できますが、カスタム語彙を指定したジョブを実行するときにはどんな権限が必要になるのでしょうか? コンソールの場合 まずは以下のような権限で試…
Amazon Transcribeを利用する時のIAMポリシーについて Part1では、IAMポリシーで設定できるアクションは3つと述べましたが、Amazon Transcribeの機能を考えるとアクションが3つしかないはずがありません。 Amazon Transcribeのアクション APIリファレンスを…
こんにちは、技術3課の峯です。 今回はAmazon Transcribeを利用する時のIAMポリシーについて説明したいと思います。 アクション IAMポリシービジュアルエディターで設定できるAmazon Transcribeのアクションは以下の3つです。 ListTranscriptionJobs GetTran…
こんにちは、技術3課の峯です。 先日2018/07/11にAmazon Transcribeでアウトプットの場所に自身のS3バケットを指定できるようになりました。これまではAmazon Transcribeで管理されているS3バケットに結果が保存され、ユーザーは署名付きURLから結果をダウン…