<commit_before>
**Price-Monitor:京东价格监控**

**Python3+Requests/Selenium+Sqlite/Mysql+免费代理池/代理接口**

[![License](https://img.shields.io/badge/license-GPLv3-yellowgreen.svg)]()
[![Poweredby](https://img.shields.io/badge/Powered%20by-requests-green.svg)]()
[![Poweredby](https://img.shields.io/badge/Powered%20by-selenium-green.svg)]()


# 电商价格监控

由该开源爬虫孵化的项目**电商价格监控**目前已上线运营：访问电商价格监控平台：

<a href="https://price.monitor4all.cn/">https://price.monitor4all.cn/</a>


**网站实现功能：**

**【功能一】自定义商品监控：设置商品ID和预期价格，当商品价格【低于】设定的预期价格后自动发送邮件提醒用户。**

**【功能二】品类商品订阅：用户订阅后，该类降价幅度大于7折的【自营商品】会被选出并发送邮件提醒用户。**





![Pagedemo](docs/Pagedemo.png)

![Pagedemo2](docs/Pagedemo2.png)

![Pagedemo3](docs/Pagedemo3.png)

![Structure](docs/Structure.png)

**申明：本项目仅限于爬取网上公开可见的商品信息，请勿用于任何商业用途。**

## 关于网站源码

该库仅为**爬虫模块**代码，网站前后端代码暂时未开源，采用的是Springboot+React，请关注博客，之后会另开新库开源。




## 电商价格监控 TODO List

**持续更新中**

### 功能

- [x] 京东卡券价格，京东精选价格爬取
- [ ] QQ微信第三方登录
- [ ] 会员功能
- [ ] 京东二手商品监控
- [ ] 支持亚马逊中国，天猫，淘宝等商城

### 技术

-  代理池重构，单独检验代理对电商网站可达性
- [x] 支持2种代理接口：芝麻代理， Redis代理
- [x] 使用Springboot代替Django作为网站后台
- [x] <a href="https://github.com/qqxx6661/Price-monitor/issues/2">商品副标题抓取，PLUS会员价格</a>
- [x] <a href="https://github.com/qqxx6661/Price-monitor/issues/3">商品历史价格</a>
- [x] Selenium + PhantomJS/Headless Chrome 爬取
- [ ] 支持更多的代理接口：vps拨号代理
- [ ] Docker一键部署

### 其他功能（欢迎Issue提供意见）

- [ ] <a href="https://github.com/qqxx6661/Price-monitor/issues/1">小说更新监控</a>



# 本开源代码：Price-Monitor（京东价格监控）

## 文件结构

- docs:文档

- PriceMonitor

    - monitor_main.py: 程序入口

    - CONFIG.py: 常用参数设置
    
    - create_db.py: 创建数据库

    - conn_sql.py: 数据操作库
    <commit_msg>Feature：项目整理<commit_after>
**Price-Monitor:京东价格监控**

**Python3+Requests/Selenium+Sqlite/Mysql+免费代理池/代理接口**

[![License](https://img.shields.io/badge/license-GPLv3-yellowgreen.svg)]()
[![Poweredby](https://img.shields.io/badge/Powered%20by-requests-green.svg)]()
[![Poweredby](https://img.shields.io/badge/Powered%20by-selenium-green.svg)]()

该项目README分为两部分：

- 电商价格监控网站介绍
- 本开源代码爬虫项目介绍和使用指南

# 电商价格监控

由该开源爬虫孵化的项目**电商价格监控**目前已上线运营：访问电商价格监控平台：

<a href="https://price.monitor4all.cn/">https://price.monitor4all.cn/</a>


**网站实现功能：**

**【功能一】自定义商品监控：设置商品ID和预期价格，当商品价格【低于】设定的预期价格后自动发送邮件提醒用户。**

**【功能二】品类商品订阅：用户订阅后，该类降价幅度大于7折的【自营商品】会被选出并发送邮件提醒用户。**





![Pagedemo](docs/Pagedemo.png)

![Pagedemo2](docs/Pagedemo2.png)

![Pagedemo3](docs/Pagedemo3.png)

![Structure](docs/Structure.png)

**申明：本项目仅限于爬取网上公开可见的商品信息，请勿用于任何商业用途。**

## 关于网站源码

该库仅为**爬虫模块**代码，网站前后端代码暂时未开源，采用的是Springboot+React，请关注博客，之后会另开新库开源。




## 电商价格监控 TODO List

**持续更新中**

### 功能

- [x] 京东卡券价格，京东精选价格爬取
- [ ] QQ微信第三方登录
- [ ] 会员功能
- [ ] 京东二手商品监控
- [ ] 支持亚马逊中国，天猫，淘宝等商城

### 技术

- [x] 代理池重构，单独检验代理对电商网站可达性
- [x] 支持2种代理接口：芝麻代理， Redis代理
- [x] 使用Springboot代替Django作为网站后台
- [x] <a href="https://github.com/qqxx6661/Price-monitor/issues/2">商品副标题抓取，PLUS会员价格</a>
- [x] <a href="https://github.com/qqxx6661/Price-monitor/issues/3">商品历史价格</a>
- [x] Selenium + PhantomJS/Headless Chrome 爬取
- [ ] 支持更多的代理接口：vps拨号代理
- [ ] Docker一键部署

### 其他功能（欢迎Issue提供意见）

- [ ] <a href="https://github.com/qqxx6661/Price-monitor/issues/1">小说更新监控</a>



# 本开源代码：Price-Monitor（京东价格监控）

## 文件结构

- docs:文档

- PriceMonitor

    - monitor_main.py: 程序入口

    - CONFIG.py: 常用参数设置
    
    - create_db.py: 创建数据库

    - conn_sql.py: 数据操作库
    
{'fraction_non_alphanumeric': 0.1958041958041958, 'fraction_numerical': 0.017634539373669808, 'mean_word_length': 4.802469135802469, 'pattern_counts': {'":': 0, '<': 19, '<?xml version=': 0, '>': 19, 'https://': 16, 'lorem ipsum': 0, 'www.': 0, 'xml': 0}, 'pii_count': 0, 'substrings_counts': 0, 'word_list_counts': {'cursed_substrings.json': 0, 'profanity_word_list.json': 0, 'sexual_word_list.json': 0, 'zh_pornsignals.json': 0}}
{'dir': 'git-commits-cleaned', 'id': '3559239', 'n_tokens_mistral': 2134, 'n_tokens_neox': 2416, 'n_words': 136}