<commit_before># coding: utf8

import re
import urllib2
from collections import OrderedDict

skill_heat = OrderedDict()
skills_array = ['c、', 'c/', 'c++', 'mysql', 'tcp/ip', 'cdn', 'linux', 'javascript', 'html',
                'nosql', 'hadoop', 'spark', 'storm', 'lbs', '经验', '架构', '容灾', '优化',
                '重构', '稳定', '沟通', '压力', '主动', '好学', '分布式', '云计算', '互联网',
                '数据库', '富媒体', '高性能', '高可靠', '高并发', '大数据', '海量数据', '网络处理',
                '存储架构', '数据处理', '精通c++', '安全逻辑', '通信系统', '面向对象', '操作系统',
                '软件工程', '设计模式', '数据结构', '网络安全', '安全漏洞', '网络攻击', '网络并发',
                '数据分析', '逻辑思维', '实时计算', '实时推荐', '分布式计算', '大容量网络',
                '大容量通信', '进程间通讯', '后台业务开发', '计算机基础结构', '互联网应用协议']


for item in skills_array:
    skill_heat[item] = 0


html = urllib2.urlopen('http://hr.tencent.com/position_detail.php?id=15013&keywords=SNG%20%E5%90%8E%E5%8F%B0&tid=0&lid=2218').read()

#print html.lower()
#print type(html)
#print 'debug--------'
#print html.lower().find('c/c++')
for name, address in skill_heat.items():
    if html.lower().find(name):
        #print name
        address += 1
        print 'debug------address = %d' %address


for name, address in skill_heat.items():
    #print 'skill: %s \t heat: [%d]' %(name.decode('utf-8'), address)
    print 'skill: %-20s heat: [%d]' %(name.decode('utf-8'), address)
<commit_msg>I misunderstood the action scrope of parameters<commit_after># coding: utf8

import re
import urllib2
from collections import OrderedDict

skill_heat = OrderedDict()
skills_array = ['c、', 'c/', 'c++', 'mysql', 'tcp/ip', 'cdn', 'linux', 'javascript', 'html',
                'nosql', 'hadoop', 'spark', 'storm', 'lbs', '经验', '架构', '容灾', '优化',
                '重构', '稳定', '沟通', '压力', '主动', '好学', '分布式', '云计算', '互联网',
                '数据库', '富媒体', '高性能', '高可靠', '高并发', '大数据', '海量数据', '网络处理',
                '存储架构', '数据处理', '精通c++', '安全逻辑', '通信系统', '面向对象', '操作系统',
                '软件工程', '设计模式', '数据结构', '网络安全', '安全漏洞', '网络攻击', '网络并发',
                '数据分析', '逻辑思维', '实时计算', '实时推荐', '分布式计算', '大容量网络',
                '大容量通信', '进程间通讯', '后台业务开发', '计算机基础结构', '互联网应用协议']


for item in skills_array:
    skill_heat[item] = 0

for name, address in skill_heat.items():
    print 'skill: %-20s heat: [%d]' %(name.decode('utf-8'), address)

html = urllib2.urlopen('http://hr.tencent.com/position_detail.php?id=15013&keywords=SNG%20%E5%90%8E%E5%8F%B0&tid=0&lid=2218').read()


for name, address in skill_heat.items():
    if html.lower().find(name) != -1:
        skill_heat[name] += 1
        print name.decode('utf-8'), address


for name, address in skill_heat.items():
    print 'skill: %-20s heat: [%d]' %(name.decode('utf-8'), address)

{'fraction_non_alphanumeric': 0.23699851411589895, 'fraction_numerical': 0.022288261515601784, 'mean_word_length': 3.2078125, 'pattern_counts': {'":': 0, '<': 3, '<?xml version=': 0, '>': 3, 'https://': 0, 'lorem ipsum': 0, 'www.': 0, 'xml': 0}, 'pii_count': 0, 'substrings_counts': 0, 'word_list_counts': {'cursed_substrings.json': 0, 'profanity_word_list.json': 0, 'sexual_word_list.json': 0, 'zh_pornsignals.json': 0}}
{'dir': 'git-commits-cleaned', 'id': '769901', 'n_tokens_mistral': 1277, 'n_tokens_neox': 1343, 'n_words': 250}