PySparkとは？
PySparkは、PythonによるApache Sparkのインターフェースなのだ。Python APIを使用してSparkアプリケーションを記述できるだけでなく、分散環境でデータをインタラクティブに分析するためのPySparkシェルも提供されているのだ。PySparkは、Spark SQL、DataFrame、Streaming、MLlib（機械学習）、Spark CoreといったSparkの機能のほとんどをサポートしているのだ。