import os
import sys
spark_home = '/opt/spark/'
os.environ['SPARK_HOME'] = spark_home
sys.path.insert(0, spark_home + '/python')
sys.path.insert(0, os.path.join(spark_home, 'python/lib/py4j-0.9-src.zip'))
pyspark_submit_args = os.environ.get('PYSPARK_SUBMIT_ARGS', '')
pyspark_submit_args += ' pyspark-shell'
os.environ['PYSPARK_SUBMIT_ARGS'] = pyspark_submit_args
filename = os.path.join(spark_home, 'python/pyspark/shell.py')
exec(compile(open(filename, 'rb').read(), filename, 'exec'))
Как запустить собственный скрипт Python при запуске Jupyter Notebook (для загрузки Spark)?