def quiet_logs(sc):
    logger = sc._jvm.org.apache.log4j
logger.LogManager.getLogger('org').setLevel(logger.Level.ERROR)
logger.LogManager.getLogger('akka').setLevel(logger.Level.ERROR)
Как отключить ведение журнала INFO в PySpark?