<commit_before>#!/usr/bin/python3

import sys
fin = open(sys.argv[1], 'r')
fout = open(sys.argv[1]+'roman', 'w')
d2r_dict={
'क':'ka', 
'ख':'kha', 
'ग':'ga', 
'घ':'gha', 
'ङ':'ŋa', 
'च':'cha', 
'छ':'chha', 
'ज':'ja', 
'झ':'jha', 
'ञ':'ña', 
'ट':'ta', 
'ठ':'tha', 
'ड':'da', 
'ढ':'dha', 
'ण':'ṇa', 
'त':'ṭa', 
'थ':'ṭha', 
'द':'ḍa', 
'ध':'ḍha', 
'न':'na', 
'प':'pa', 
'फ':'pha', 
'ब':'ba', 
'भ':'bha', 
'म':'ma', 
'य':'ya', 
'र':'ra', 
'ल':'la', 
'व':'wa', 
'श':'sa', 
'ष':'sa', 
'स':'sa', 
'ह':'ha', 
'क्':'k', 
'ख्':'kh', 
'ग्':'g', 
'घ्':'gh', 
'ङ्':'ŋ', 
'च्':'ch', 
'छ्':'chh', 
'ज्':'j', 
'झ्':'jh', 
'ञ्':'ñ', 
'ट्':'t', 
'ठ्':'th', 
'ड्':'d', 
'ढ्':'dh', 
'ण्':'ṇ', 
'त्':'ṭ', 
'थ्':'ṭh', 
'द्':'ḍ', 
'ध्':'ḍh', 
'न्':'n', 
'प्':'p', 
'फ्':'ph', 
'ब्':'b', 
'भ्':'bh', 
'म्':'m', 
'य्':'y', 
'र्':'r', 
'ल्':'l', 
'व्':'w', 
'श्':'s', 
'ष्':'s', 
'स्':'s', 
'ह्':'h', 
'ँ':'n',
'ं':'m',
'ः':'h',
'अ':'a', 
'आ':'ā', 
'इ':'i', 
'ई':'i', 
'उ':'u', 
'ऊ':'u', 
'ऋ':'ri', 
'ए':'e', 
'ऐ':'ai', 
'ओ':'o', 
'औ':'au', 
'ा':'ā', 
'ि':'i', 
'ी':'i', 
'ु':'u', 
'ू':'u', 
'ृ':'ri', 
'े':'e', 
'ै':'ai', 
'ो':'o', 
'ौ':'au'
}

def main():
  text=fin.read() 
  for key,value in d2r_dict.items():
    text=text.replace(key,value)
  print(text)

if __name__ == '__main__':
  main()<commit_msg>changes to dictionary and writing to sampleroman<commit_after>#!/usr/bin/python3

import sys
fin = open(sys.argv[1], 'r')
fout = open(sys.argv[1]+'roman', 'w')
d2r_dict={
'क्':'k', 
'ख्':'kh', 
'ग्':'g', 
'घ्':'gh', 
'ङ्':'ŋ', 
'च्':'ch', 
'छ्':'chh', 
'ज्':'j', 
'झ्':'jh', 
'ञ्':'ñ', 
'ट्':'t', 
'ठ्':'th', 
'ड्':'d', 
'ढ्':'dh', 
'ण्':'ṇ', 
'त्':'ṭ', 
'थ्':'ṭh', 
'द्':'ḍ', 
'ध्':'ḍh', 
'न्':'n', 
'प्':'p', 
'फ्':'ph', 
'ब्':'b', 
'भ्':'bh', 
'म्':'m', 
'य्':'y', 
'र्':'r', 
'ल्':'l', 
'व्':'w', 
'श्':'s', 
'ष्':'s', 
'स्':'s', 
'ह्':'h', 
'क':'ka', 
'ख':'kha', 
'ग':'ga', 
'घ':'gha', 
'ङ':'ŋa', 
'च':'cha', 
'छ':'chha', 
'ज':'ja', 
'झ':'jha', 
'ञ':'ña', 
'ट':'ta', 
'ठ':'tha', 
'ड':'da', 
'ढ':'dha', 
'ण':'ṇa', 
'त':'ṭa', 
'थ':'ṭha', 
'द':'ḍa', 
'ध':'ḍha', 
'न':'na', 
'प':'pa', 
'फ':'pha', 
'ब':'ba', 
'भ':'bha', 
'म':'ma', 
'य':'ya', 
'र':'ra', 
'ल':'la', 
'व':'wa', 
'श':'sa', 
'ष':'sa', 
'स':'sa', 
'ह':'ha', 
'ँ':'n',
'ं':'m',
'ः':'h',
'अ':'a', 
'आ':'ā', 
'इ':'i', 
'ई':'i', 
'उ':'u', 
'ऊ':'u', 
'ऋ':'ri', 
'ए':'e', 
'ऐ':'ai', 
'ओ':'o', 
'औ':'au', 
'ा':'ā', 
'ि':'i', 
'ी':'i', 
'ु':'u', 
'ू':'u', 
'ृ':'ri', 
'े':'e', 
'ै':'ai', 
'ो':'o', 
'ौ':'au'
}

def main():
  text=fin.read() 
  for key,value in d2r_dict.items():
    text=text.replace(key,value)  
  fout.write(text)
  print(text)
  
if __name__ == '__main__':
  main()
{'fraction_non_alphanumeric': 0.4919847328244275, 'fraction_numerical': 0.003816793893129771, 'mean_word_length': 4.612419700214133, 'pattern_counts': {'":': 0, '<': 3, '<?xml version=': 0, '>': 3, 'https://': 0, 'lorem ipsum': 0, 'www.': 0, 'xml': 0}, 'pii_count': 0, 'substrings_counts': 0, 'word_list_counts': {'cursed_substrings.json': 0, 'profanity_word_list.json': 0, 'sexual_word_list.json': 0, 'zh_pornsignals.json': 0}}
{'dir': 'git-commits-cleaned', 'id': '2151031', 'n_tokens_mistral': 1894, 'n_tokens_neox': 1751, 'n_words': 232}