<commit_before>## Spark中加载本地（或者hdfs）文件以及SparkContext实例的textFile使用

网上很多例子，包括官网的例子，都是用textFile来加载一个文件创建RDD，类似

    sc.textFile("hdfs://n1:8020/user/hdfs/input")


textFile的参数是一个path,这个path可以是：
1. 一个文件路径，这时候只装载指定的文件
2. 一个目录路径，这时候只装载指定目录下面的所有文件（不包括子目录下面的文件）
3. 通过通配符的形式加载多个文件或者加载多个目录下面的所有文件


第三点是一个使用小技巧，现在假设我的数据结构为先按天分区，再按小时分区的，在hdfs上的目录结构类似于：

    /user/hdfs/input/dt=20130728/hr=00/
    /user/hdfs/input/dt=20130728/hr=01/
    /user/hdfs/input/dt=20130728/hr=23/

具体的数据都在hr等于某个时间的目录下面，现在我们要分析20130728这一天的数据，我们就必须把这个目录下面的所有hr=\*的子目录下面的数据全部装载进RDD，于是我们可以这样写：

    sc.textFile("hdfs://n1:8020/user/hdfs/input/dt=20130728/hr=*/"),注意到hr=*,是一个模糊匹配的方式。

http://blog.csdn.net/zy_zhengyang/article/details/46853441


## How to load IPython shell with PySpark

    PYSPARK_DRIVER_PYTHON=ipython /path/to/bin/pyspark

[How to load IPython shell with PySpark](http://stackoverflow.com/questions/31862293/how-to-load-ipython-shell-with-pyspark)<commit_msg>update spark note<commit_after>## Spark中加载本地（或者hdfs）文件以及SparkContext实例的textFile使用

网上很多例子，包括官网的例子，都是用textFile来加载一个文件创建RDD，类似

    sc.textFile("hdfs://n1:8020/user/hdfs/input")


textFile的参数是一个path,这个path可以是：
1. 一个文件路径，这时候只装载指定的文件
2. 一个目录路径，这时候只装载指定目录下面的所有文件（不包括子目录下面的文件）
3. 通过通配符的形式加载多个文件或者加载多个目录下面的所有文件


第三点是一个使用小技巧，现在假设我的数据结构为先按天分区，再按小时分区的，在hdfs上的目录结构类似于：

    /user/hdfs/input/dt=20130728/hr=00/
    /user/hdfs/input/dt=20130728/hr=01/
    /user/hdfs/input/dt=20130728/hr=23/

具体的数据都在hr等于某个时间的目录下面，现在我们要分析20130728这一天的数据，我们就必须把这个目录下面的所有hr=\*的子目录下面的数据全部装载进RDD，于是我们可以这样写：

    sc.textFile("hdfs://n1:8020/user/hdfs/input/dt=20130728/hr=*/"),注意到hr=*,是一个模糊匹配的方式。

http://blog.csdn.net/zy_zhengyang/article/details/46853441


## How to load IPython shell with PySpark

    PYSPARK_DRIVER_PYTHON=ipython /path/to/bin/pyspark

[How to load IPython shell with PySpark](http://stackoverflow.com/questions/31862293/how-to-load-ipython-shell-with-pyspark)


## Why does Spark report “java.net.URISyntaxException: Relative path in absolute URI” when working with DataFrames?

    spark-shell --conf spark.sql.warehouse.dir=file:///c:/tmp/spark-warehouse

    PYSPARK_DRIVER_PYTHON=ipython pyspark --jars ../spark/jars/mysql-connector-java-5.1.40.jar --conf spark.sql.warehouse.dir=/data/warehouse.dir

[Why does Spark report “java.net.URISyntaxException: Relative path in absolute URI” when working with DataFrames?](http://stackoverflow.com/questions/38940312/why-does-spark-report-java-net-urisyntaxexception-relative-path-in-absolute-ur)
{'fraction_non_alphanumeric': 0.12853678253839934, 'fraction_numerical': 0.06548100242522231, 'mean_word_length': 5.617647058823529, 'pattern_counts': {'":': 0, '<': 3, '<?xml version=': 0, '>': 3, 'https://': 0, 'lorem ipsum': 0, 'www.': 0, 'xml': 0}, 'pii_count': 0, 'substrings_counts': 0, 'word_list_counts': {'cursed_substrings.json': 0, 'profanity_word_list.json': 0, 'sexual_word_list.json': 0, 'zh_pornsignals.json': 0}}
{'dir': 'git-commits-cleaned', 'id': '99133', 'n_tokens_mistral': 1430, 'n_tokens_neox': 1376, 'n_words': 106}