<commit_before>arr = []
line_num=0
text=File.open('../data/dewiki-latest-category.sql').read
text.gsub!(/\r\n?/, "\n")
text.each_line do |line|
  line.scan(/'([^']*)',/).each{|w| arr << w}
end

key_words = ["Medizin nach Zeit","Mediziner","Alternativmedizin","Medizinische Bildung","Biomedizin","Diagnostik","Medizinische Dokumentation","Epidemiologie","Medizinethik","Ethnomedizin","Evidenzbasierte Medizin","Exkrement","Medizin in Film und Fernsehen","Medizinisches Gebiet","Medizingeschichte","Heilberuf","Medizininformatik","Japanische Medizin","Krankheit","Krankheit als Thema","Medizinische Klassifikation","Naturheilkunde","Organ als Thema","Organisation Medizin","Medizinpreis","Medizinrecht","Sachliteratur Medizin","Sexualmedizin","Medizinstatistik","Strahlenbiologie","Medizintechnik","Therapie","Veterinärmedizi","Medizinische Vorsorg","Zahnmedizin", "medizin", "gesundheit"]<commit_msg>Reads now file with key_words for searching<commit_after>arr = []
line_num=0
text=File.open('../data/dewiki-latest-category.sql').read
text.gsub!(/\r\n?/, "\n")
text.each_line do |line|
  line.scan(/'([^']*)',/).each{|w| arr << w}
end

key_words = []
File.open("../data/key_words", "r") do |f|
  f.each_line do |line|
  key_words << line.delete!("\n")
  end
end
{'fraction_non_alphanumeric': 0.20634920634920634, 'fraction_numerical': 0.0015873015873015873, 'mean_word_length': 8.41044776119403, 'pattern_counts': {'":': 0, '<': 9, '<?xml version=': 0, '>': 3, 'https://': 0, 'lorem ipsum': 0, 'www.': 0, 'xml': 0}, 'pii_count': 0, 'substrings_counts': 0, 'word_list_counts': {'cursed_substrings.json': 0, 'profanity_word_list.json': 0, 'sexual_word_list.json': 0, 'zh_pornsignals.json': 0}}
{'dir': 'git-commits-cleaned', 'id': '5365324', 'n_tokens_mistral': 478, 'n_tokens_neox': 474, 'n_words': 64}