PySpark SQLの簡単な紹介と、実際PySpark SQLを使ってみます。

PySparkスクリプトを書くときに、知っておいたらいい概念とポイントをまとめました。

PySparkで使用されるDataFrameというオブジェクトがどのようなものなのかを見てみます。

RDDのAPIを使って簡単なプログラムを作ってみます。

RDDとは何かおよびRDDオブジェクトに対して使用できるAPIを紹介して、実際データを操作してみましょう。

Sparkの特徴、PySparkの概要およびユースケースをご紹介します。

Dockerを使ったPySparkを動かす環境を構築する方法をご紹介します。

'15年入社の橋本です。 先日AWS Summit Tokyo 2015に展示員をしつつ参加してきましたので、その時のレポートをお送りします。