インフラは抽象化されたサービスへ、AWS re:Invent 2012 参加レポート

最近絶えずタイツを履いていたら温かい、という事に気づいた小室＠福岡です。

先日アメリカはラスベガスで開催された世界規模のカンファレンスAWS re:Inventに参加してきました。

AWS re:Invent

すでに速報や、参加報告の記事が沢山上がっていると思いますので、感想、というより実際に聞いて話して討論した内容をご紹介したと思います。

基調講演、セッション
ブース、参加者との立ち話
Appendix

先に言っておくと相当長いです。興味の有る方だけ読めばいいかなと思います。
長いのを読むのは嫌だ！という方の為に感想(まとめ)を入れておきます。

いきなり感想

インフラがサービスになっていっている。IaaSという言葉以上にインフラという機能が抽象化されて、開発者は難しく考えなくてもクラウドがよしなにしてくれる時代が近づいている。
既に米国ではクラウドを使うのは当たり前、如何に運用の負担を軽減するか、コスト削減するかに意識が向いている
ベネチアンホテルの料理はチーズが多い

もっと絵で見たいという方には今北産業風にまとめたので、こちらをご覧ください。
re:Invent 社内共有会資料(サーバーワークス）

Let's get started!

基調講演、セッション

■Keynote with Andy Jessy

410TB for Pinterest
60カ国から6000人の参加者がre:Inventに参加
S3は、835,000リクエスト/秒処理する
How many decisions developers have to make? --> Cloud makes it less
Netflix: スタートアップ等への一言
→"Being excited to create a product"(※CEOは技術者でもMBAフォルダーでもない）
→"Innovation needs to take an action" 「イノベーションは行動に移す必要がある」
SAP HANA One Innovative App Contest
Redshift
S3の値下げ

■Security OF the AWS Cloud

AWSの社員のすべてがDCのロケーションを知っている訳ではない
物理サーバにアクセスをする人は限られており、アクセスする人は採用する時も、雇用状態の時も何度もバックグラウンドチェックをする
AZは、複数のビルかもしれない。キャンパスみたいな感じに。
DDOSがあれば、リソースの所有者に確認をしてからリクエストをシャットダウンする（勝手にDDOSのようだから、と言ってアクセスを塞いだりしない）
物理サーバのSSH鍵は人に紐づいている（共有していない）
物理サーバにリモートからアクセスする場合、指定の場所に行ってのみ行なえる（自分のデスクトップから行なう事が出来ない）
物理サーバ側に変更を行なう場合は、まず一台目から行い、問題がなければ、AZ内で変更し、その後Regionに適応する。変更は一気に行なわない
CIAやFBIがいきなり差し押さえをする事は出来ない。何故かというと物理サーバと指定サーバがどこに有るかAWSしか知らないので、警察はAWSと協力して調査を行なう必要がある
今回のイベントのWifiも一度VPC内のEC2に転送されて、ユーザーがDDOS等を行なっていない事を確認してから外へ出しているらしい

■A Guided tour of AWS IAM

Role機能をうまく使う事で、アプリからAWSリソースを扱う事が可能になる（ユーザーに紐付けるのではない）
IAMのcredential を使う事で、SSH鍵を持ち歩かなくても良くなる事が多い
自動でCredential の更新
多要素認証はぜひ使うべきだ。Root権限にアクセス出来るのがidとpasswordだけなのは危険過ぎる
Passwordポリシーもなるべく難しい物にしましょう
SSOもうまく組み合わせましょう

■Best EC2 features you never knew about

Custom Auto Scaling
→ Autoscalingを使う事で、HAを実現する事が出来る
Boot EBSをデタッチして、他のインスタンスにアタッチする事が出来る
CCのインスタンスをストレージとして使う
→CCは10GBの帯域が確保されており、EBSのインターネットコネクションもとの事。CCのインスタンスに対して大量のGBファイルをアップロードするとそこそこ早く行なえるらしい。
EC2を使う時「自動化」が成功の鍵
片山さん(@c9katayama )みたいに、Twitterアカウントにつぶやくとインスタンスが増えたり、ウェブ画面のボタンを押すと、インスタンスが消えたりという風にアプリ側に組み込むデモをしていた。

■Benchmarking with AWS

Magic words for benchmarking "It depends"
ベンチマークをする時に、何を最終目的とするのか最初に決めておく事大事
→頑張ってチューニングする事は出来るが、本来の目的を失ってはいけない（チューニングがプロジェクトの目的にはならないように)
テストとベンチマークは非常に大事！
→ヒュンダイが新車の走行距離を修正した事で、顧客からの訴訟、返品などダメージを負った。ちゃんとベンチマークを取りましょう
オーダーメイド用の靴の為に足形を取っていた事をベンチマークと言っていたらしい
新しいインスタンスタイプは、新しいサーバで動いているらしい
新しいリージョンは、今までのリージョンとはかなり違う作りになっているらしい

■Security and Compliance in the AWS Cloud

AWSがセキュリティをしっかりしているからと言って安心してはいけない（責任共有をきちんと理解する）
提供者の責任と、顧客の責任はコンプライアンスによって違うので、よく理解する
AWSの監査はある程度出ているが、AWSに乗っているインフラ/アプリの監査の方法
→ガバメント/IAMの使い方/安全なデータ/安全なOSとアプリ/セキュアなインフラ/監視、アラート、監視詳細/障害時の対応/事業継続性、DR
新しいセキュリティホワイトペーパーがまたリリースされるとの事（間違いでなければ12月）
クラウド業界に関してのドキュメントはめちゃくちゃ一杯ある

■Hight Available Architecture at Netflix

開発者はAWSを使いたい時は、どこかの部署に依頼する必要がない（直接利用出来る）
100TB以上のストレージ
Memcachedの活用
提供アプリ(Github)
→Chaos Gorilla(特定のリージョン全部に障害を発生させるツール)
→Chaos Monkey(特定のインスタンスに障害を発生させるツール）
→Priam(Cassandra の自動化ツール)
→Edda(リソースのメタデータを取得し設定履歴を追う事が出来るツール/Scalr+Json)

Cassandra
→インターネット接続の障害があった場合、自動で修復する機能を作り込んでいる
EBSを別ボリュームとしてアタッチせず、Boot EBSにデータを入れる事で安く早いストレージが実現出来る
S3のデータを、別のAWSアカウントの別リージョンにバックアップを行なっている
開発者は障害に対して責任を持つようにしている-> 障害を想定したコードの書き方になる
NoOps
→Nexflixがよく使われる時間帯はエンジニアも家で家族と映画やテレビを見たいから人的オペレーションはしない。システムで全てカバーする方向でコードを書いている
リージョンの障害は少し慎重に設計している

■Top 10 Identity and Access Management Best Practices

なるべく少ない権限を付与する
MFAでは複数アカウント対応している
Roleは自動的に鍵のローテイションをしてくれる
ローテイション（IAMユーザーにローテイトさせる権限を付与させる）
Root
→権限を減らす、もしくは使わせない
→アクセスキーを削除する
→MFAを有効にする
→強固なパスワード

■Your Amazon Linux AMI

約6ヶ月おきのリリース
Amazon Linux AMI Security Center(バグトラッカーみたいな物）
Cloud-initを使ってね
すべてのAmazon Linuxから起動したインスタンスは、新しいリリースを追いかけるようになっているので、固定したい場合は、フリーズさせる必要がある
→Debianであるようなapt-pinみたいなのがあるのかどうかEC2ブースで聞いたが、無い模様
次のリリースは2012/32013/3

ブース、参加者との立ち話

■Optaros (cloud のoperationをメインになっている）

Chefを使ってサーバの構築をすべて自動化している。大体ある程度のレシピがたまると、作りたい構成があれば5分程度で自動で出来る
Chefの中でもビーガン（？）という機能があって、作りたいレシピ(Cookbook?)を集めてローカル構築をやってくれるらしい（ちょっとよく分からなかった）
Chefの他に、Jenkinsを使ってAutoscalingを実装しているらしい。CIの中に分岐の一つとしてオートスケールを組み込んでいるそう。

■Trusteer

イスラエルのセキュリティ関係の会社
イスラエルのスタートアップは熱いらしい
スタートアップに関しては、USが嫌いだからAWS使わないとか無いらしい
クラウド関係のセキュリティや統合認証(SSO等）の約半分はイスラエル発の会社だそうです

■Autodesk

2D/3Dのレンダリングを行なう会社

■Reblaze

■Alfresco

Document databaseやDropboxに似たエンタープライズ向けファイル共有サービスをSaaSもしくはOEMで提供している

■2ND Watch

コンソリでのリアルタイムの料金金額を見る事が出来るサービスなど提供している

■Vyatta

VyattaでVPNが出来るらしい(OpenVPNベース）
VPCを使ってのVyatta連携のケース/Docが多く出ていたので、要確認

■okta

OneLoginと同じようなCloudベースのSSOサービス。PingIdentityやSymplifiedが出来る事は大体出来る
Autodeskの人が言うには最近人気急上昇中らしい

■Hemsida24

スウェーデンの会社
VPCのNATサーバはSPOFになるので、NATサーバに対してAutoscalingをかけて、min/max1台にしておき、シングル構成で自動復旧するように組んでいるらしい
日本の通勤て大変だね、と哀れんでいただきました
スウェーデンのUnion(労働組合）は相当なパワーを持っていて、会社に対しても義務に近い勧告が出来るそうです

■Cloudant

NoSQLサービス、DynamoDBよりも安くて使い易いらしい

■JasperSoft

BIツール、AWSの監視やログ、料金等をダッシュボードから見れる

■AppFirst

Devops用のダッシュボードらしい
コストや、リソースの状態、障害内容等を見れるらしい
エージェントをインストールするタイプ

■Cloudessa

認証とセキュリティ関係の模様

■ScaleBase

DBのマスター、スレーブをクエリー毎に振り分けてくれるサービス
DB群の前に置く事で、appから一台しか見えない

■AppDynamics

各リソース間のトラフィックのレイテンシや、障害状況（どこのソースで発生しているかまで）監視が可能なツール
Netflixも使っているらしい
ソースコードサポートはJavaと.Net。次はPHP対応を予定していて、Rubyも対応したいと思っているらしい

■CloudAbility

リソース＆コスト確認サービス
IAMでEC2のREAD権限があれば、出来るらしい

■Newvem

イスラエルの会社
利用量をリアルタイムで表示出来る
リソースのリスクに関する警告をしてくれるらしい

■CloudPassage

クラウドのセキュリティサービス
firewall
Google Adで毎回表示されるよ！と言ったら広報の人が喜んで？いた

■ilesfay

クラウドバックアップサービス
複数クラウド、オンプレからクラウド等可能
バックアップのタイミングも選ぶ事が可能との事

■SystemsWatch

AWSが公開しない障害を報告してくれるサービス
スタートアップ
AWSのヘルスダッシュボードはどうやら手動で更新されている模様。障害内容について複数箇所の部署を通ってからリリースとして出されているらしい。
このサービスは2分程度の障害でも通知してくれるらしい。なのでいずれフィルター機能等をつける予定
提供を始めたばかりなので、無料。登録もなし

■シリコンバレーでSIをやっている人の話(社名を忘れた）

アメリカでもAWS構築を依頼してくるのはエンタープライズが多いらしい
スタートアップは自分でAWS使うのでお客さんにはならない

■Expediaの開発者

ExpediaでもAWSを使い始めている
まだメインはハードなので、今後どのように会社にフィットするか色々試している所

■AWS上でプラットフォームを展開して提供している人の話（社名を聞忘れた）

元々オンプレでやっていたが、クラウドのスケーラビリティとフレキシビリティに魅力を感じ、色々検証後移行した。
最も難しかったのは、社内でのインフラやビジネスの考え方を変える事だった（セキュリティの考え方や、コスト削減についての考え方、ビジネスのあり方等)

■AWSの中の人トーク
CloudFormationの開発者

インプットのvalidationをつけて頂くよう依頼
GUIでテンプレートを作れる機能に関しては相当要望が上がっているらしい

Ruby SDK開発者

何か要望があれば、コンタクトフォームからどんどん出してほしいとの事
RightScaleのSDKとAWS側のRuby SDKはネームスペースがかぶったりしているので、同時に使う事は難しく、またバージョンによっても微妙に実装が違ったりしているので右から左への移行は難しいのではとアドバイスを頂いた

Python SDK開発者

名前は Python SDKではなくbotoのままなのかもね、との事

AWSのストレージサービスチーム

Storage GatewayはS3をファイルサーバーのように使う為に作られたとの事

AWSのセキュリティチーム

EC2のターミネーション時に2人以上の鍵がないと削除出来ない機能の要望を出して来た
またIAMの人に、アクションに対しての承認機能の要望出して来た

AWSのサポートチーム

サポートのチケットを切る時に言語に依存せず全世界同じようにチケットを切って最適なサポートチームが回答してもらえるように要望出して来た
USのサポートチームと日本のサポートチームはシステムや対象ユーザーが全然違うらしい。日本サポートチームは、日本のみをターゲットとしており、USはほぼ全世界を対象としているそうです。

■完全にどうでもいい事

Venetianホテルの食事は美味しかった。チーズとか野菜とかかなり多めだった。
Cirque du soleil 人間離れしていた！

Appendix

re:Invent

Redshift

S3の値下げ（2012/12/1から適応)

米国東海岸で、新しい2つのEC2インスタンスタイプがリリース予定

High Storage Instances -> High Storage Eight Extra Large (hs1.8xlarge)、16仮想コア、24ハードディスクドライブ、48TiBストレージ容量、117GiBメモリ、10Gネットワーク帯域
Cluster High Memory instances -> Cluster High Memory Eight Extra Large (cr1.8xlarge) 、デュアルIntel Xeon E5-2670、2.6 GHz プロセッサ, 240 GiBメモリ、２つの120 GB SSDs
上記共にIntel TurboとNUMAをサポート

AWS Data Pipeline

AWS MarketplaceでWindowsサポート
AWSラスベガス現地レポート11/27~29