【AWS re:Invent 2024】MAM224-S | Scaling for enterprise: Insights from New Relic's AWS journey (sponsored by New Relic)

こんにちは、しずかです。AWS re:Invent 2024 のセッションレポートです。

目次
Scaling for enterprise: Insights from New Relic's AWS journey (sponsored by New Relic)
- セッション動画
New Relicについて
クラウド移行の背景とAWSの選択
アーキテクチャとクラウド移行の方法
- セル型アーキテクチャの導入
- 移行プロセス
移行の結果で得られた教訓
さいごに

Scaling for enterprise: Insights from New Relic's AWS journey (sponsored by New Relic)

このセッションは、New Relic様のパートナーセッションでした。New Relic のインフラ基盤をデータセンターからAWSに移行するにあたっての選定理由や、移行で得られた教訓をお話されていました。スピーカーは VPoE(Vice President of Engineering)の Suraj Krishnan氏でした。

セッション動画

www.youtube.com

New Relicについて

まずはNew Relicについて説明していました。

New RelicはAIファーストのオブザーバビリティプラットフォームである。
85,000以上の顧客を抱え、1日あたり7ペタバイトのデータを処理し、年間3エクサバイトのデータを生成している。
顧客の重要なアプリケーションの監視に使用されるため、New Relicは99.9%の可用性を保証し、毎分120億件のイベントを処理している。
この信頼性とスケーラビリティを支える基盤が、クラウド移行の重要な要素となった。

クラウド移行の背景とAWSの選択

以前はデータセンターで、Kubernetes と Kafka を使用していたが、急速な成長により処理とストレージの需要が毎年倍増し、管理が困難になったようでした。信頼性と可用性を確保しつつ、顧客へのインサイト提供に集中するため、パブリッククラウドへの移行を決断したようです。その中でAWSを選んだ理由は、以下を挙げていました。

大規模なスケーリングが可能な多様なサービスがあること
API駆動型で統合性の高いサービスがあること
運用面での優れたサポート

これらを語るときに、AWS DNAをみると～ と話されているのが個人的には印象的でした。

アーキテクチャとクラウド移行の方法

次にアーキテクチャとクラウド移行の方法について話されていました。

セル型アーキテクチャの導入

データセンター内の単一構造では障害時にすべての顧客が影響を受けるため、独立したセルに分割するアプローチを採用
すべてが、building block として形成されている
各セルは自己完結型でスケーリング可能
セル数が増えるほど、障害の影響範囲が縮小

ここでは、アーキテクチャで building block として形成されている、とのお話でした。これはAWSの Matt Garman氏の Key Note でも語られていました。私はこれが AWS DNAを理解する、ということなのかなと思いました。また、アーキテクチャ図は「googleで検索すれば出てきます」とも仰ってました。

移行プロセス

移行プロジェクトを Cumulus Program と名付けた
データセンターとクラウドの両方を活用するハイブリッド環境から開始
最初のステップはログとメトリクス処理のクラウド移行
スパイクテストに成功し、クラウド環境への信頼を確立

移行途中では、大きなスパイクが発生し、トラブルが起きていたそうです。その中で、AWSと協力して問題解決にあたり、クラウド環境への信頼するようになったようです。

移行の結果で得られた教訓

まず自社の監視環境から移行
移行作業は1年かけて行われ、システム動作や潜在的な課題を確認しながら安全に進めることができた
小規模な顧客から大規模な顧客、重要なデータタイプへと段階的に移行した
プロジェクトの進行中には、COVID-19の影響、データの急増、ビジネスモデルの変更など多くの予期しない課題が発生した
計画段階で想定されたシナリオだけでなく、発生しうるあらゆる問題に備える重要性を感じた
クラウド移行により、システムの拡張性、信頼性、運用効率が大幅に向上した
セル型アーキテクチャと自社開発の監視ツールを駆使し、システム全体の可視性を高め、運用の安定性と問題の早期発見・解決ができるようになった

さいごに

弊社でも New Relic を活用しておりますが、New Relic様がAWS環境に移行した経緯や背景を初めて聞くことができました。中でも個人的には AWS DNA というワードが印象的だったと思います。私自身も、AWS、New Relic、それぞれの理解を深め、AWS DNA を自分の口から語れるようになっていければと思います。なお、内容については割愛した部分も多くあるので、詳細は上記の動画を参照ください。