<commit_before># -*- coding: utf-8 -*-
from __future__ import absolute_import,unicode_literals
import icu
# ถอดเสียงภาษาไทยเป็น Latin
def romanization(data):
	"""เป็นคำสั่ง ถอดเสียงภาษาไทยเป็น Latin รับค่า ''str'' ข้อความ คืนค่าเป็น ''str'' ข้อความ Latin"""
	thai2latin = icu.Transliterator.createInstance('Thai-Latin')
	return thai2latin.transliterate(data)<commit_msg>add word tokenize in pythainlp.romanization.icu<commit_after># -*- coding: utf-8 -*-
from __future__ import absolute_import,unicode_literals
import icu
from pythainlp.tokenize import word_tokenize
# ถอดเสียงภาษาไทยเป็น Latin
def romanization(data):
	"""เป็นคำสั่ง ถอดเสียงภาษาไทยเป็น Latin รับค่า ''str'' ข้อความ คืนค่าเป็น ''str'' ข้อความ Latin"""
	word_list=word_tokenize(data)
	thai2latin = icu.Transliterator.createInstance('Thai-Latin')
	listword=['']*len(word_list)
	i=0
	while i<len(word_list):
		listword[i]=thai2latin.transliterate(word_list[i])
		i+=1
	return ''.join(listword)
{'fraction_non_alphanumeric': 0.14942528735632185, 'fraction_numerical': 0.008359456635318705, 'mean_word_length': 7.553571428571429, 'pattern_counts': {'":': 0, '<': 4, '<?xml version=': 0, '>': 3, 'https://': 0, 'lorem ipsum': 0, 'www.': 0, 'xml': 0}, 'pii_count': 0, 'substrings_counts': 0, 'word_list_counts': {'cursed_substrings.json': 0, 'profanity_word_list.json': 0, 'sexual_word_list.json': 0, 'zh_pornsignals.json': 0}}
{'dir': 'git-commits-cleaned', 'id': '5502360', 'n_tokens_mistral': 458, 'n_tokens_neox': 476, 'n_words': 68}