<commit_before>ToDos - High Priority
----------------------
1. 细化Exception抓取
2. 使用Fabric进行发布
3. data_processor代码整理、重构
4. 整理转码器图片提取模块
5. 采用nose/coverage进行测试
6. URL处理换成gruns/furl
7. 实现Feed地址清理工具（去掉诸如#、?等参数）
8. 测试标题提取使用Lassie(多国语言)
9. 融合[Scrapely](https://github.com/scrapy/scrapely)到转码器中
10. 根据热门关键字搜索图片
11. 新闻摘要
12. 修改README
13. 参照谷歌编码风格
    [中文](http://zh-google-styleguide.readthedocs.org/en/latest/google-python-styleguide/)
    [EN](http://google-styleguide.googlecode.com/svn/trunk/pyguide.html)
14. 去掉html内容的代码换成那个bs4
    [link](http://azd325.github.io/blog/2013/08/18/python-strip-tags/)

ToDos - Low Priority
---------------------
1. 抓取Instagram/Flickr内容
2. 图片判断是否是男人
3. 判断图片是否是黄图
4. 社交账户好友信息抓取
5. 热点新闻提取
6. 新闻去重
7. 类别类似新闻
8. Bugu用户账户代码转移
9. Minerva代码转移
10. 详情页增加夜间、字体大小、分享等代码
11. Feed管理平台
12. qrconverter类似脚本使用docopt/docopt

Dones
------
1. 图片类的代码放在image_processor中
2. 加入朗读抓取代码
3. 文件名生成方式修改 --> 语言-分类-源（objectId）-时间-随机码
4. 根据RSS提供者的元数据区分更新时间
5. 根据TODO标签自动生成Markdown文档
6. 对外接口重构
7. Feed相关代码重构
8. 减少参数调用（尽量从数据库中获取）
9. Readability代码整合、测试
10. 转码代码清理、重构
11. 摘要/首段抓取代码编写
12. 为PM提供一个Simplr, Readability, UCK比较的页面
13. 包结构合理化
14. 抓取改为每处理完一个存储数据库和内存
15. Task相关代码分解、重构
16. 为项目增加开源声明
17. Redis expire可能会失效，访问时增加检查和清理
18. 理清每个函数的返回类型（raise Exception or None?）
19. 输出改为logging
20. 服务器质量监控
21. WAP页支持
22. 预警代码整理、重构

ToDos - Generated from docs
--------------------------
* `data_processor/baidu_uck.py`
    1. Line 31: _sanitize
        - test the code
        - remove code that sanitize too much

* `publisher/inquirer.py`
    1. Line 40: get_categories_by_language<commit_msg>Update TODO.md<commit_after>ToDos - High Priority
----------------------
1. data_processor代码整理、重构
2. 整理转码器图片提取模块
3. 采用nose/coverage进行测试
4. URL处理换成gruns/furl
5. 实现Feed地址清理工具（去掉诸如#、?等参数）
6. 测试标题提取使用Lassie(多国语言)
7. 融合[Scrapely](https://github.com/scrapy/scrapely)到转码器中
8. 根据热门关键字搜索图片
9. 新闻摘要
10. 修改README
11. 参照谷歌编码风格
    [中文](http://zh-google-styleguide.readthedocs.org/en/latest/google-python-styleguide/)
    [EN](http://google-styleguide.googlecode.com/svn/trunk/pyguide.html)
12. 去掉html内容的代码换成那个bs4
    [link](http://azd325.github.io/blog/2013/08/18/python-strip-tags/)

ToDos - Low Priority
---------------------
1. 抓取Instagram/Flickr内容
2. 图片判断是否是男人
3. 判断图片是否是黄图
4. 社交账户好友信息抓取
5. 热点新闻提取
6. 新闻去重
7. 类别类似新闻
8. Bugu用户账户代码转移
9. Minerva代码转移
10. 详情页增加夜间、字体大小、分享等代码
11. Feed管理平台
12. qrconverter类似脚本使用docopt/docopt

Dones
------
1. 图片类的代码放在image_processor中
2. 加入朗读抓取代码
3. 文件名生成方式修改 --> 语言-分类-源（objectId）-时间-随机码
4. 根据RSS提供者的元数据区分更新时间
5. 根据TODO标签自动生成Markdown文档
6. 对外接口重构
7. Feed相关代码重构
8. 减少参数调用（尽量从数据库中获取）
9. Readability代码整合、测试
10. 转码代码清理、重构
11. 摘要/首段抓取代码编写
12. 为PM提供一个Simplr, Readability, UCK比较的页面
13. 包结构合理化
14. 抓取改为每处理完一个存储数据库和内存
15. Task相关代码分解、重构
16. 为项目增加开源声明
17. Redis expire可能会失效，访问时增加检查和清理
18. 理清每个函数的返回类型（raise Exception or None?）
19. 输出改为logging
20. 服务器质量监控
21. WAP页支持
22. 预警代码整理、重构
23. 使用Fabric进行发布

ToDos - Generated from docs
--------------------------
* `data_processor/baidu_uck.py`
    1. Line 31: _sanitize
        - test the code
        - remove code that sanitize too much

* `publisher/inquirer.py`
    1. Line 40: get_categories_by_language
{'fraction_non_alphanumeric': 0.1528621682123441, 'fraction_numerical': 0.05500479692996482, 'mean_word_length': 3.227027027027027, 'pattern_counts': {'":': 0, '<': 3, '<?xml version=': 0, '>': 5, 'https://': 2, 'lorem ipsum': 0, 'www.': 0, 'xml': 0}, 'pii_count': 0, 'substrings_counts': 0, 'word_list_counts': {'cursed_substrings.json': 0, 'profanity_word_list.json': 0, 'sexual_word_list.json': 0, 'zh_pornsignals.json': 0}}
{'dir': 'git-commits-cleaned', 'id': '2900099', 'n_tokens_mistral': 1938, 'n_tokens_neox': 2108, 'n_words': 270}