AWS DataSyncでデータ移行 ~他のサービスと何が違う?~

AWS運用自動化サービス「Cloud Automator」

Windowsおじさんの鎌田です。
オンプレミスからAWSへのデータ移行、悩みどころですよね。
本日は、AWS DataSyncのご紹介と、類似サービスの違いについてご説明したいと思います。

AWS DataSyncとは

AWS DataSyncは、AWSの各種ストレージサービスとのデータ転送を簡単に、そして自動で、高速に行えるサービスです。
https://docs.aws.amazon.com/ja_jp/datasync/latest/userguide/what-is-datasync.html

AWSでデータを移行する先といえば、S3に移される例が多いかと思いますが、
DataSyncではS3以外にもEFSやFSxなど、他のストレージサービスへの移行がサポートされている他、帯域制御の設定も可能な点もポイントです。

またAWS上にある情報も、EFSからS3に同期するために使うといった、AWS上にあるデータを別のストレージサービスに複製を持っておくといった使い方もできます。

DataSyncを使うメリット

DataSyncならではのメリット記載したいと思います。

1.AWSのサービスとしてS3以外へのデータ移行がサポートされている

これまでの他のAWSサービスは、データ移行は基本としてS3を使うことがベースでした。
DataSyncではS3だけでなくSMBとNFSがサポートされているため、EFSやFSxなどへのデータ移行をサービスを介して直接実施できるところがポイントとなっています。
※詳しいサポートされる移行パターンは次節にリストをまとめています

2.移行するファイルの除外パターンが設定できる

rsyncやs3 syncなどは同期の際に除外するファイルパターンが設定できますが、DataSyncでも設定できます。
このファイルだけ除外したいといった使い方が出来るのは大きなポイントです。

3.一回きりの移行だけでなく、長期運用でデータバックアップの自動取得といった使い方も

DataSyncというサービスの名前の通り、基本的にはデータ同期のサービスであるため、長期運用して、FSxのファイルをS3にバックアップし続けるといった使い方もできます。
同期もcron式で日程を記述して同期パターンを決められるようになっています。

サポートされる移行パターン

サポートされるデータコピーパターンは以下の通りです。移行元としてオンプレミス側のファイルサーバーなどもサポートされるのがポイントです。

移行元 移行先
NFS(Amazon EFSを含む) Amazon S3
NFS(Amazon EFSを含む) NFS(Amazon EFSを含む)
NFS(Amazon EFSを含む) SMB(Amazon FSx for Windows File Serverを含む)
SMB(Amazon FSx for Windows File Serverを含む) Amazon S3
SMB(Amazon FSx for Windows File Serverを含む) NFS(Amazon EFSを含む)
SMB(Amazon FSx for Windows File Serverを含む) SMB(Amazon FSx for Windows File Serverを含む)
S3 NFS(Amazon EFSを含む)
S3 SMB(Amazon FSx for Windows File Serverを含む)

他のAWSサービスとの違い

AWSにはデータ移行に使えるサービスがいくつかありますが、どのような違いがあるのかまとめました。

AWSサービス アクセス方式 移行方式 中継端末もしくはインスタンス 帯域制限 所見
AWS DataSync SMB/NFS/S3コマンド 中継インスタンス経由でコピーして移行 中継するEC2インスタンスもしくはVMの仮想マシンが必要 Snoballとs3 syncのいいとこ取り、サポートされる移行パターンの多さが特徴
AWS Snowball S3コマンド 物理デバイスにコピーして移行 中継するクライアント端末が必要 大容量の移行向き、運用前にオンプレミスとの同期が必要なケースも
AWS CLIでs3 sync S3コマンド S3にコマンドで直接コピーして移行 不要 S3以外には移行出来ないが、コマンドを使いこなせればコストが安く済む
AWS Transfer for SFTP sftpコマンド sftpコマンドで移行 サービス利用時に中継用のインスタンスが作られている データ移行用のサービスではないためデータ移行の用途に便利な機能はない
AWS Strage Gateway SMB オンプレミス側からExplorerなどからコピーして移行 サービス利用時に中継用のインスタンスが作られている データ移行用のサービスではないためデータ移行の用途に便利な機能はない

でもお高いんでしょう?

DataSyncのサービスそのものの利用料は、2020年2月現在、ギガバイト (GB) あたり 0.0125USDです。
https://aws.amazon.com/jp/datasync/pricing/

S3やEFS、FSxを利用する場合はこれにプラスしてそれぞれの利用料が必要です。

まとめ

AWS DataSyncのサービスをご紹介させていただきました。
AWSへのデータ移行に悩まれた方の参考になれば幸いです。

AWS運用自動化サービス「Cloud Automator」