<commit_before># taobao_bra_crawler
a taobao web crawler just for fun.

## 说明
淘宝文胸商品评论内容爬取与简单分析。

## 商品评论数据
### 下载地址
链接: [https://pan.baidu.com/s/1bpbuZLX](https://pan.baidu.com/s/1bpbuZLX) 密码: <PASSWORD>

### 导入数据
``` bash
mongoimport -d taobao -c rates  --file ./rates.dat
```

## 爬虫部署
互联网时代的网站富于变化，爬虫今天可能正常明天可能就不能用了，如果爬虫无法使用请通过百度云盘链接导入数据。<commit_msg>updated download-link-address<commit_after># taobao_bra_crawler
a taobao web crawler just for fun.

## 说明
淘宝文胸商品评论内容爬取与简单分析。

## 商品评论数据
### 下载地址
百度云链接: [https://pan.baidu.com/s/19S5ziVX8kXhk7LtgKn94qw](https://pan.baidu.com/s/19S5ziVX8kXhk7LtgKn94qw) 密码: <PASSWORD> 
<br>
Google Drive链接：https://drive.google.com/file/d/1fJtXqDtuFVL7d61GkfL3pr2wDvMzKgJx/view?usp=sharing

### 导入数据
``` bash
mongoimport -d taobao -c rates  --file ./rates.dat
```

## 爬虫部署
互联网时代的网站富于变化，爬虫今天可能正常明天可能就不能用了，如果爬虫无法使用请通过百度云盘链接导入数据。
{'fraction_non_alphanumeric': 0.1490104772991851, 'fraction_numerical': 0.025611175785797437, 'mean_word_length': 5.417910447761194, 'pattern_counts': {'":': 0, '<': 6, '<?xml version=': 0, '>': 6, 'https://': 5, 'lorem ipsum': 0, 'www.': 0, 'xml': 0}, 'pii_count': 0, 'substrings_counts': 0, 'word_list_counts': {'cursed_substrings.json': 1, 'profanity_word_list.json': 0, 'sexual_word_list.json': 0, 'zh_pornsignals.json': 0}}
{'dir': 'git-commits-cleaned', 'id': '695553', 'n_tokens_mistral': 572, 'n_tokens_neox': 586, 'n_words': 59}