<commit_before>.. _changelog:

Change log
==========

0.9.1 (2018-04-16)
------------------

Bug fixes
~~~~~~~~~

- 修复了setup.py中读取README的编码设置问题

Refactoring
~~~~~~~~~~~

- 不再只依赖于通过定时轮询判定job是否结束，单次下载完成后即判定job是否结束


0.9.0 (2017-11-13)
------------------

New features
~~~~~~~~~~~~

- 中间件的加载细分为内置中间件和用户自定义中间件两部分，内置中间件自动加载，用户中间件的加载由配置项确定；
  中间件加载的顺序由配置的权值确定，权值越大越贴近downloader/spider
- 添加 ``xpaw.errors.NotEnabled`` ，在中间件/拓展的构造函数中控制抛出该异常来实现开启或禁用该中间件/拓展。
- 添加UserAgentMiddleware，支持选择PC端或移动端的User-Agent，支持随机User-Agent
- 支持配置日志写入指定文件

Bug fixes
~~~~~~~~~

- 修复了request的fingerprint计算时没有考虑端口号的bug

Refactoring
~~~~~~~~~~~

- 移除ResponseNotMatchMiddleware
- 移除ProxyAgentMiddle，原有功能并入ProxyMiddleware
- 中间件的参数配置扁平化，修改了RetryMiddleware、ProxyMiddleware、DepthMiddleware的参数配置方式
- ForwardedForMiddleware更名为ImitatingProxyMiddleware，新增添加 ``Via`` 请求头的功能
- 系统配置 ``downloader_verify_ssl`` 更名为 ``verify_ssl`` ， ``downloader_cookie_jar_enabled`` 更名为 ``cookie_jar_enabled``
- 更新了downloader和spider相关的错误处理流程
- 更新了判定job结束的逻辑

<commit_msg>update changelog<commit_after>.. _changelog:

Change log
==========

0.9.1 (2018-04-16)
------------------

Bug fixes
~~~~~~~~~

- 修复了setup.py中读取README的编码设置问题

Refactoring
~~~~~~~~~~~

- 不再只依赖于通过定时轮询判定job是否结束，单次下载完成后即判定job是否结束
- 修改依赖库的版本限制


0.9.0 (2017-11-13)
------------------

New features
~~~~~~~~~~~~

- 中间件的加载细分为内置中间件和用户自定义中间件两部分，内置中间件自动加载，用户中间件的加载由配置项确定；
  中间件加载的顺序由配置的权值确定，权值越大越贴近downloader/spider
- 添加 ``xpaw.errors.NotEnabled`` ，在中间件/拓展的构造函数中控制抛出该异常来实现开启或禁用该中间件/拓展。
- 添加UserAgentMiddleware，支持选择PC端或移动端的User-Agent，支持随机User-Agent
- 支持配置日志写入指定文件

Bug fixes
~~~~~~~~~

- 修复了request的fingerprint计算时没有考虑端口号的bug

Refactoring
~~~~~~~~~~~

- 移除ResponseNotMatchMiddleware
- 移除ProxyAgentMiddle，原有功能并入ProxyMiddleware
- 中间件的参数配置扁平化，修改了RetryMiddleware、ProxyMiddleware、DepthMiddleware的参数配置方式
- ForwardedForMiddleware更名为ImitatingProxyMiddleware，新增添加 ``Via`` 请求头的功能
- 系统配置 ``downloader_verify_ssl`` 更名为 ``verify_ssl`` ， ``downloader_cookie_jar_enabled`` 更名为 ``cookie_jar_enabled``
- 更新了downloader和spider相关的错误处理流程
- 更新了判定job结束的逻辑


{'fraction_non_alphanumeric': 0.1748768472906404, 'fraction_numerical': 0.02167487684729064, 'mean_word_length': 5.702970297029703, 'pattern_counts': {'":': 0, '<': 3, '<?xml version=': 0, '>': 3, 'https://': 0, 'lorem ipsum': 0, 'www.': 0, 'xml': 0}, 'pii_count': 0, 'substrings_counts': 0, 'word_list_counts': {'cursed_substrings.json': 8, 'profanity_word_list.json': 0, 'sexual_word_list.json': 0, 'zh_pornsignals.json': 0}}
{'dir': 'git-commits-cleaned', 'id': '1502367', 'n_tokens_mistral': 1131, 'n_tokens_neox': 1264, 'n_words': 84}