Add preprocessor, fix translit

crh_preprocessor/preprocessor.py

@@ -0,0 +1,15 @@
+import re
+
+mappings = [
+    ["\u0069\u0307", "i"],  # ["i̇", "i"], handle i with dot, first occurence is two separate symbols
+]
+
+def preprocess(text):
+    text = text.lower()  # always treat lowercase
+    text = " " + text + " "
+
+    for mapping in mappings:
+        text = re.sub(mapping[0], mapping[1], text)
+
+    return text[1:-1]
+    

crh_transliterator/cyr_to_lat.py

@@ -594,4 +594,6 @@ mappings = [
     ["щ", "şç"],
     ["ы", "ı"],
     ["э", "e"],
+    # extra
+    ["\u0069\u0307", "i"],  # ["i̇", "i"], handle i with dot?
 ]

tests/rosetta.csv

@@ -12,7 +12,7 @@ Yuvıp keter… tek o zaman|Ювып кетер… тек о заман
 Turarım men qabrimden —|Турарым мен къабримден —
 Dua etip tek o zaman|Дуа этип тек о заман
 Çıqarım arş-alâğa, Oña qadar mende yoqtır|Чыкъарым арш-алягъа, Онъа къадар менде ёкътыр
-İşanç Alla-Taalâğa.|Ишанч Алла-Таалягъа.
+Işanç Alla-Taalâğa.|Ишанч Алла-Таалягъа.
 Meni cıyıp, qalqıñız ve|Мени джыйып, къалкъынъыз ве
 Üzüñiz buğavlarnı|Узюнъиз бугъавларны
 Zalım duşman qanı ile|Залым душман къаны иле

tests/test_preprocessor.py

@@ -0,0 +1,7 @@
+from crh_preprocessor.preprocessor import preprocess
+
+
+def test_preprocessor():
+    assert (
+        preprocess("İşanç Alla-Taalâğa.") == "işanç alla-taalâğa."
+    )  # first i is two symbols (i without dot and dot)