<commit_before>#初始安裝
* 建議使用ruby 2.2以上版本
* project colone 完成之後執行
bundle install


#如何設定爬蟲

* lib/execute.rb
* 表示抓gossip 版的資料 , 往回抓取一個小時的內容<br>
<code>
  Main.new({:limittime => 60* 60}) 
</code>
* 如果你想要抓其他的版<br>
<code>
  Main.new({:url => "https://www.ptt.cc/bbs/Hate/index.html", :limittime => 60* 60})
</code>
<br>
#資料預設是存放至mongodb , 可以修改
* lib/mongolib.rb<br>
<code>
def initialize                                                                                                        
    #set mongodb url & port
    mongo_client = MongoClient.new("localhost", 7474)                                                                
    db = mongo_client.db("pttdb")                                                                                       
    @coll = db.collection("gossips")                                                                                    
end 
</code><commit_msg>edit readme<commit_after>#初始安裝
* 建議使用ruby 2.2以上版本
* project colone 完成之後執行
bundle install


#如何設定爬蟲

* lib/execute.rb
* 表示抓gossip 版的資料 , 往回抓取一個小時的內容<br>
<code>
  Main.new({:limittime => 60* 60}) 
</code>
* 如果你想要抓其他的版<br>
<code>
  Main.new({:url => "https://www.ptt.cc/bbs/Hate/index.html", :limittime => 60* 60})
</code>
<br>
#資料預設是存放至mongodb , 可以修改
* lib/mongolib.rb<br>
<code>
def initialize <br>                                                                                                       
&apmp;&apmp;#set mongodb url & port<br>
&apmp;&apmp;mongo_client = MongoClient.new("localhost", 7474)<br>                                                                
&apmp;&apmp;db = mongo_client.db("pttdb")<br>                                                                                       
&apmp;&apmp;@coll = db.collection("gossips")<br>                                                                                   
end<br>
</code>
{'fraction_non_alphanumeric': 0.12, 'fraction_numerical': 0.015135135135135135, 'mean_word_length': 1.1178489702517163, 'pattern_counts': {'":': 0, '<': 29, '<?xml version=': 0, '>': 35, 'https://': 2, 'lorem ipsum': 0, 'www.': 2, 'xml': 0}, 'pii_count': 0, 'substrings_counts': 0, 'word_list_counts': {'cursed_substrings.json': 24, 'profanity_word_list.json': 0, 'sexual_word_list.json': 0, 'zh_pornsignals.json': 0}}
{'dir': 'git-commits-cleaned', 'id': '157392', 'n_tokens_mistral': 663, 'n_tokens_neox': 640, 'n_words': 93}