O Spark requer versões modificadas do Scala ou do Python?
Não. Spark não requer alterações em plugins do Scala ou do compilador. A API do Python usa a implementação padrão do CPython e pode chamar bibliotecas C existentes para o Python, como o NumPy.