Windowsおじさんの鎌田です。 オンプレミスからAWSへのデータ移行、悩みどころですよね。 本日は、AWS DataSyncのご紹介と、類似サービスの違いについてご説明したいと思います。
AWS DataSyncとは
AWS DataSyncは、AWSの各種ストレージサービスとのデータ転送を簡単に、そして自動で、高速に行えるサービスです。 https://docs.aws.amazon.com/ja_jp/datasync/latest/userguide/what-is-datasync.html
AWSでデータを移行する先といえば、S3に移される例が多いかと思いますが、 DataSyncではS3以外にもEFSやFSxなど、他のストレージサービスへの移行がサポートされている他、帯域制御の設定も可能な点もポイントです。
またAWS上にある情報も、EFSからS3に同期するために使うといった、AWS上にあるデータを別のストレージサービスに複製を持っておくといった使い方もできます。
DataSyncを使うメリット
DataSyncならではのメリット記載したいと思います。
1.AWSのサービスとしてS3以外へのデータ移行がサポートされている
これまでの他のAWSサービスは、データ移行は基本としてS3を使うことがベースでした。 DataSyncではS3だけでなくSMBとNFSがサポートされているため、EFSやFSxなどへのデータ移行をサービスを介して直接実施できるところがポイントとなっています。 ※詳しいサポートされる移行パターンは次節にリストをまとめています
2.移行するファイルの除外パターンが設定できる
rsyncやs3 syncなどは同期の際に除外するファイルパターンが設定できますが、DataSyncでも設定できます。 このファイルだけ除外したいといった使い方が出来るのは大きなポイントです。
3.一回きりの移行だけでなく、長期運用でデータバックアップの自動取得といった使い方も
DataSyncというサービスの名前の通り、基本的にはデータ同期のサービスであるため、長期運用して、FSxのファイルをS3にバックアップし続けるといった使い方もできます。 同期もcron式で日程を記述して同期パターンを決められるようになっています。
サポートされる移行パターン
サポートされるデータコピーパターンは以下の通りです。移行元としてオンプレミス側のファイルサーバーなどもサポートされるのがポイントです。
移行元 | 移行先 |
---|---|
NFS(Amazon EFSを含む) | Amazon S3 |
NFS(Amazon EFSを含む) | NFS(Amazon EFSを含む) |
NFS(Amazon EFSを含む) | SMB(Amazon FSx for Windows File Serverを含む) |
SMB(Amazon FSx for Windows File Serverを含む) | Amazon S3 |
SMB(Amazon FSx for Windows File Serverを含む) | NFS(Amazon EFSを含む) |
SMB(Amazon FSx for Windows File Serverを含む) | SMB(Amazon FSx for Windows File Serverを含む) |
S3 | NFS(Amazon EFSを含む) |
S3 | SMB(Amazon FSx for Windows File Serverを含む) |
他のAWSサービスとの違い
AWSにはデータ移行に使えるサービスがいくつかありますが、どのような違いがあるのかまとめました。
AWSサービス | アクセス方式 | 移行方式 | 中継端末もしくはインスタンス | 帯域制限 | 所見 |
---|---|---|---|---|---|
AWS DataSync | SMB/NFS/S3コマンド | 中継インスタンス経由でコピーして移行 | 中継するEC2インスタンスもしくはVMの仮想マシンが必要 | 〇 | Snoballとs3 syncのいいとこ取り、サポートされる移行パターンの多さが特徴 |
AWS Snowball | S3コマンド | 物理デバイスにコピーして移行 | 中継するクライアント端末が必要 | - | 大容量の移行向き、運用前にオンプレミスとの同期が必要なケースも |
AWS CLIでs3 sync | S3コマンド | S3にコマンドで直接コピーして移行 | 不要 | 〇 | S3以外には移行出来ないが、コマンドを使いこなせればコストが安く済む |
AWS Transfer for SFTP | sftpコマンド | sftpコマンドで移行 | サービス利用時に中継用のインスタンスが作られている | 〇 | データ移行用のサービスではないためデータ移行の用途に便利な機能はない |
AWS Strage Gateway | SMB | オンプレミス側からExplorerなどからコピーして移行 | サービス利用時に中継用のインスタンスが作られている | 〇 | データ移行用のサービスではないためデータ移行の用途に便利な機能はない |
でもお高いんでしょう?
DataSyncのサービスそのものの利用料は、2020年2月現在、ギガバイト (GB) あたり 0.0125USDです。 https://aws.amazon.com/jp/datasync/pricing/
S3やEFS、FSxを利用する場合はこれにプラスしてそれぞれの利用料が必要です。
まとめ
AWS DataSyncのサービスをご紹介させていただきました。 AWSへのデータ移行に悩まれた方の参考になれば幸いです。