<commit_before>#Standalone Mode的佈建
## Cluster群集介紹
![](http://spark.apache.org/docs/latest/img/cluster-overview.png)


Spark可以建立群集來跨資源分配，基本上有三種模式可以選擇：
- **Standalone**
- Apache Mesos
- Hadoop YARN

這邊以Standalone來介紹如何建立環境。
## 環境介紹
我有三台電腦分別為：
- Master (IP：192.168.2.101)
- Slave1 (IP：192.168.2.102)
- Slave2 (IP：192.168.2.103)

這三台都按照之前的[教學](../Install/README.md)進行Spark的安裝，
並把Slave1與Slave2當作Worker Node。

## 環境設定
#### Master設定
到Spark目錄下的/sbin/執行下面指令
```
$ ./start-master.sh --host [Master_IP]
```
以我的例子，Master_IP就是192.168.2.101
執行完後，Master的位置會在192.168.2.101:7077(預設port)
在瀏覽器輸入Master_IP:8080，就會看到下面畫面
![](SparkGUI.PNG)
#### Slave設定
分別在每個Slave上建立起Worker Node，<commit_msg>Update url path<commit_after>#Standalone Mode的佈建
## Cluster群集介紹
![](http://spark.apache.org/docs/latest/img/cluster-overview.png)


Spark可以建立群集來跨資源分配，基本上有三種模式可以選擇：
- **Standalone**
- Apache Mesos
- Hadoop YARN

這邊以Standalone來介紹如何建立環境。
## 環境介紹
我有三台電腦分別為：
- Master (IP：192.168.2.101)
- Slave1 (IP：192.168.2.102)
- Slave2 (IP：192.168.2.103)

這三台都按照之前的[教學](../Install/)進行Spark的安裝，
並把Slave1與Slave2當作Worker Node。

## 環境設定
#### Master設定
到Spark目錄下的/sbin/執行下面指令
```
$ ./start-master.sh --host [Master_IP]
```
以我的例子，Master_IP就是192.168.2.101
執行完後，Master的位置會在192.168.2.101:7077(預設port)
在瀏覽器輸入Master_IP:8080，就會看到下面畫面
![](SparkGUI.PNG)
#### Slave設定
分別在每個Slave上建立起Worker Node，
{'fraction_non_alphanumeric': 0.1708051166290444, 'fraction_numerical': 0.09330323551542513, 'mean_word_length': 5.717171717171717, 'pattern_counts': {'":': 0, '<': 3, '<?xml version=': 0, '>': 3, 'https://': 0, 'lorem ipsum': 0, 'www.': 0, 'xml': 0}, 'pii_count': 10, 'substrings_counts': 0, 'word_list_counts': {'cursed_substrings.json': 0, 'profanity_word_list.json': 0, 'sexual_word_list.json': 0, 'zh_pornsignals.json': 0}}
{'dir': 'git-commits-cleaned', 'id': '469558', 'n_tokens_mistral': 870, 'n_tokens_neox': 859, 'n_words': 71}