<commit_before># 关于该程序
## 目的
- 单机微博爬虫
- 抓取微博用户信息和分析微博信息扩散
- 测试微博反爬虫机制

## 需要的知识
- 基本的**HTTP协议**理解
- 会运用**Python**,了解**Requests**库
- 会使用**re模块**/**Beautifulsoup**解析网页
- 使用**cx_Oracle**存储数据

## 目前的成果
- 微博搜索、微博信息处理、用户信息处理模块具有可复用性
- 可以持续稳定的采集微博和微博用户相关数据(请求频率为**28s/次**，阈值正在测试)
- 微博用户信息和扩散信息已经能够成功采集并可以结合前端进行可视化展示

## todo
- 添加搜索接口，可以对某个指定话题进行搜索
- 采用**ORM**框架进行CURD操作
- 自己使用**matplotlib**实现数据可视化
- 前端的可视化操作
- ~~不用重复抓取已经获取过的转发微博和其源微博~~
- ~~采用布隆过滤器去重网页~~
- 测试单机单账号访问阈值
- 测试单机多账号访问效果
- 优化代码，让程序运行更加快速和稳定
- 改成分布式爬虫


## 本项目目前的一些数据可视化展示(使用的[echarts](http://echarts.baidu.com)):
对[某条指定微博](http://weibo.com/1973665271/E6HiqDiCg?refer_flag=1001030103_&type=comment#_rnd1473216182746)进行分析

微博扩散情况
![微博扩散](./img/kuosan.png)

转发该微博的用户性别比例
![用户性别比例](./img/sex.png)

转发该微博的时间
![转发曲线](./img/reposttime.png)

转发该微博的地域分析
![转发地域](./img/diyu.png)<commit_msg>readme修改<commit_after># 关于该程序
## 目的
- 单机微博爬虫
- 抓取微博用户信息和分析微博信息扩散
- 测试微博反爬虫机制

## 需要的知识
- 基本的**HTTP协议**理解
- 会运用**Python**,了解**Requests**库
- 会使用**re模块**/**Beautifulsoup**解析网页
- 使用**cx_Oracle**存储数据

## 目前的成果
- 微博搜索、微博信息处理、用户信息处理模块具有可复用性
- 可以持续稳定的采集微博和微博用户相关数据(请求频率为**28s/次**，阈值正在测试)
- 微博用户信息和扩散信息已经能够成功采集并可以结合前端进行可视化展示

## todo
- 添加搜索接口，可以对某个指定话题进行搜索
- 采用**ORM**框架进行CURD操作
- 自己使用**matplotlib**实现数据可视化
- 前端的可视化操作
- ~~不用重复抓取已经获取过的转发微博和其源微博~~
- ~~采用布隆过滤器去重网页~~
- 测试单机单账号访问阈值
- 测试单机多账号访问效果
- 优化代码，让程序运行更加快速和稳定
- 改成分布式爬虫


## 本项目目前的一些数据可视化展示(使用的[echarts](http://echarts.baidu.com)):
对[某条指定微博](http://weibo.com/1973665271/E6HiqDiCg?refer_flag=1001030103_&type=comment#_rnd1473216182746)进行分析

微博扩散情况

![微博扩散](./img/kuosan.png)

转发该微博的用户性别比例

![用户性别比例](./img/sex.png)

转发该微博的时间

![转发曲线](./img/reposttime.png)

转发该微博的地域分析

![转发地域](./img/diyu.png)
{'fraction_non_alphanumeric': 0.18094667465548234, 'fraction_numerical': 0.04313960455362492, 'mean_word_length': 6.046413502109704, 'pattern_counts': {'":': 0, '<': 3, '<?xml version=': 0, '>': 3, 'https://': 0, 'lorem ipsum': 0, 'www.': 0, 'xml': 0}, 'pii_count': 0, 'substrings_counts': 0, 'word_list_counts': {'cursed_substrings.json': 0, 'profanity_word_list.json': 0, 'sexual_word_list.json': 0, 'zh_pornsignals.json': 0}}
{'dir': 'git-commits-cleaned', 'id': '5763217', 'n_tokens_mistral': 1346, 'n_tokens_neox': 1559, 'n_words': 71}