<jupyter_start><jupyter_text>Our method vs SEFR<jupyter_code>!wget https://github.com/PyThaiNLP/wisesight-sentiment/raw/master/word-tokenization/wisesight-1000-samples-tokenised.label
engine=['deepcut','ws1000']
sefr_cut.load_model(engine='deepcut')
def cutcut(text):
    cut_list = []
    sefr_cut.load_model(engine='deepcut')
    cut_list.append(['|'.join(sefr_cut.tokenize(text)[0]),'deepcut'])
    sefr_cut.load_model(engine='ws1000')
    cut_list.append(['|'.join(sefr_cut.tokenize(text)[0]),'sefr-ws1000'])
    
    oskut.load_model(engine='ws')
    cut_list.append(['|'.join(oskut.OSKut(text)),'mde-ws'])
    oskut.load_model(engine='ws-augment-60p')
    cut_list.append(['|'.join(oskut.OSKut(text)),'mde-ws-augment-60p'])
    
    return cut_list
with open('wisesight-1000-samples-tokenised.label','r',encoding='utf-8-sig') as f:
    file = f.readlines()
np.random.seed(42)
random_list = np.random.randint(len(file), size=50)
cut_list = []
for item in random_list:
    cut_return = cutcut(file[item].replace('|',''))
    cut_list.append(cut_return)
for idx,item in enumerate(random_list):
    print(f'mode: Answer\ntext:{file[item]}')
    [print(f'mode:{i[1]}\ntext:{i[0]}') for i in cut_list[idx]]
    print('#################################################')<jupyter_output>mode: Answer
text:กิน|หม้อ|เอ็มเค|ติด|จมูก|สัด

mode:deepcut
text:กิน|หม้อ|เอ็มเคติด|จมูก|สัด

mode:sefr-ws1000
text:กิน|หม้อ|เอ็มเคติด|จมูก|สัด

mode:mde-ws
text:กิน|หม้อ|เอ็มเคติด|จมูกสัด

mode:mde-ws-augment-60p
text:กิน|หม้อ|เอ็มเค|ติด|จมูก|สัด

#################################################
mode: Answer
text:ไม่|ต้อง|กินนนนน|.

mode:deepcut
text:ไม่|ต้อง|กิน|นนนน.

mode:sefr-ws1000
text:ไม่|ต้อง|กินนนนน.

mode:mde-ws
text:ไม่|ต้อง|กินนนน|น|.

mode:mde-ws-augment-60p
text:ไม่|ต้อง|กินนน|น|น|.|

#################################################
mode: Answer
text:แล้ว|มัน|จะ|รั่ว|ซึม|ไหม|ครับ|ป๋า

mode:deepcut
text:แล้ว|มัน|จะ|รั่ว|ซึม|ไหม|ครับ|ป๋า

mode:sefr-ws1000
text:แล้ว|มัน|จะ|รั่ว|ซึม|ไหม|ครับ|ป๋า

mode:mde-ws
text:แล้ว|มัน|จะ|รั่ว|ซึม|ไหม|ครับ|ป๋า

mode:mde-ws-augment-60p
text:แล้ว|มัน|จะ|รั่ว|ซึม|ไหม|ครับ|ป๋า|

#################################################
mode: Answer
text:เสี่ย|เจริญ| |เป็น|เจ้าของ| |แม่โขง| |แสงโสม| |เหล้า|ขาว| |เบียร์ช้าง| |จบ

mode:deepcut
text:เ[...]
{'fraction_non_alphanumeric': 0.29563318777292574, 'fraction_numerical': 0.0222707423580786, 'mean_word_length': 7.485185185185185, 'pattern_counts': {'":': 0, '<': 4, '<?xml version=': 0, '>': 4, 'https://': 1, 'lorem ipsum': 0, 'www.': 0, 'xml': 0}, 'pii_count': 0, 'substrings_counts': 0, 'word_list_counts': {'cursed_substrings.json': 0, 'profanity_word_list.json': 0, 'sexual_word_list.json': 0, 'zh_pornsignals.json': 0}}
{'chain_length': '1', 'dir': 'jupyter-structured-clean-dedup', 'id': '283070', 'license': 'MIT', 'n_tokens_mistral': 1209, 'n_tokens_neox': 1196, 'n_words': 93, 'path': 'notebooks/OSKut_how1.ipynb', 'repo_name': 'mrpeerat/OSKut', 'size': '2290'}