<jupyter_start><jupyter_text>Hi 7 1 '1'I 8  2 '1'Potato 9 3 '1'am 10 4 '1'candy 5 5 '3'hi 11 6 '1'potato 4 7'5'yummy 6 8 '2'많이 나온 단어일 수록 작은 인덱스를 배정count가 동일할 경우 sorted 순서로 배정<jupyter_code>kor_list = ['감자' , '감자' , '맛탕', '안녕', '나는', '감자', '맛탕', '맛있는', '고구마', '고구마', '맛있어', '맛탕', '안녕']
sorted(kor_list)<jupyter_output><empty_output><jupyter_text>감자 3맛탕 2고구마 4안녕 5나는 6맛있는 7맛있어 8감자 9 (첫번째 문장의 감자)<jupyter_code>"안녕 나는 소영이야".split()<jupyter_output><empty_output>
{'fraction_non_alphanumeric': 0.18421052631578946, 'fraction_numerical': 0.07456140350877193, 'mean_word_length': 5.82089552238806, 'pattern_counts': {'":': 0, '<': 9, '<?xml version=': 0, '>': 9, 'https://': 0, 'lorem ipsum': 0, 'www.': 0, 'xml': 0}, 'pii_count': 0, 'substrings_counts': 0, 'word_list_counts': {'cursed_substrings.json': 0, 'profanity_word_list.json': 0, 'sexual_word_list.json': 0, 'zh_pornsignals.json': 0}}
{'chain_length': '2', 'dir': 'jupyter-structured-clean-dedup', 'id': '660413', 'license': 'Apache-2.0', 'n_tokens_mistral': 340, 'n_tokens_neox': 360, 'n_words': 62, 'path': 'sample_code_test/index 어떻게 되는지.ipynb', 'repo_name': 'SoYoungCho/Korean-English-NMT', 'size': '456'}