<jupyter_start><jupyter_text>개발 환경 확인 먼저 데이터를 다운로드를 받아야 한다. 다운로드 스크립트(`download.py`)가 있으니 실행하면 된다.<jupyter_code>!python download.py<jupyter_output>Extracting:   0%|          | 0/14740 [00:00<?, ?files/s]
Extracting:   0%|          | 6/14740 [00:00<05:31, 44.44files/s]
Extracting:   0%|          | 11/14740 [00:00<06:02, 40.62files/s]
Extracting:   1%|1         | 205/14740 [00:00<00:18, 772.26files/s]
Extracting:   3%|2         | 421/14740 [00:00<00:11, 1264.91files/s]
Extracting:   4%|4         | 633/14740 [00:00<00:09, 1547.44files/s]
Extracting:   6%|5         | 850/14740 [00:00<00:07, 1743.46files/s]
Extracting:   7%|7         | 1063/14740 [00:00<00:07, 1865.46files/s]
Extracting:   9%|8         | 1276/14740 [00:00<00:06, 1947.67files/s]
Extracting:  10%|#         | 1489/14740 [00:00<00:06, 1997.60files/s]
Extracting:  12%|#1        | 1711/14740 [00:01<00:06, 2065.32files/s]
Extracting:  13%|#3        | 1944/14740 [00:01<00:05, 2139.08files/s]
Extracting:  15%|#4        | 2160/14740 [00:01<00:06, 1835.43files/s]
Extracting:  16%|#5        | 2352/14740 [00:01<00:06, 1819.01files/s]
Extracting:  17%|#7        | 2565/14740 [00:01[...]<jupyter_text>`README.md` 를 보면- Each file is consisted of three columns: `id`, `document`, `label`    - `id`: The review id, provieded by Naver    - `document`: The actual review    - `label`: The sentiment class of the review. (0: negative, 1: positive)    - Columns are delimited with tabs (i.e., `.tsv` format; but the file extension is `.txt` for easy access for novices)라고 적혀있다.tsv면 csv reader 로 쉽게 읽을 수 있다.<jupyter_code>import os
import csv

BASE_PATH = "nsmc/nsmc-master"
print("list")
i = 0
with open(os.path.join(BASE_PATH,"ratings.txt"), "r", newline='\n', encoding="utf-8") as fp:
    rd = csv.DictReader(fp,delimiter='\t')
    for data in rd:
        print(data)
        i += 1
        if i > 10:
            break<jupyter_output>list
OrderedDict([('id', '8112052'), ('document', '어릴때보고 지금다시봐도 재밌어요ㅋㅋ'), ('label', '1')])
OrderedDict([('id', '8132799'), ('document', '디자인을 배우는 학생으로, 외국디자이너와 그들이 일군 전통을 통해 발전해가는 문화산업이 부러웠는데. 사실 우리나라에서도 그 어려운시절에 끝까지 열정을 지킨 노라노 같은 전통이있어 저와 같은 사람들이 꿈을 꾸고 이뤄나갈 수 있다는 것에 감사합니다.'), ('label', '1')])
OrderedDict([('id', '4655635'), ('document', '폴리스스토리 시리즈는 1부터 뉴까지 버릴께 하나도 없음.. 최고.'), ('label', '1')])
OrderedDict([('id', '9251303'), ('document', '와.. 연기가 진짜 개쩔구나.. 지루할거라고 생각했는데 몰입해서 봤다.. 그래 이런게 진짜 영화지'), ('label', '1')])
OrderedDict([('id', '10067386'), ('document', '안개 자욱한 밤하늘에 떠 있는 초승달 같은 영화.'), ('label', '1')])
OrderedDict([('id', '2190435'), ('document', '사랑을 해본사람이라면 처음부터 끝까지 웃을수 있는영화'), ('label', '1')])
OrderedDict([('id', '9279041'), ('document', '완전 감동입니다 다시봐도 감동'), ('label', '1')])
OrderedDict([('id', '7865729'), ('document', '개들의 전쟁2 나오나요? 나오면 1빠로 보고 싶음'), ('label', '1')])
OrderedDict([('id', '7477618'), ('document', '굿'), ('label', '1')])
OrderedDict([('id', '9250537'), ('document', [...]<jupyter_text>잘 읽히는 것을 볼 수가 있다.<jupyter_code>from IPython.display import HTML
HTML('<code lang="python">'+open('ndata.py',"r").read()+"</code>")<jupyter_output><empty_output>
{'fraction_non_alphanumeric': 0.2060546875, 'fraction_numerical': 0.13997395833333334, 'mean_word_length': 3.8855325914149446, 'pattern_counts': {'":': 0, '<': 27, '<?xml version=': 0, '>': 14, 'https://': 0, 'lorem ipsum': 0, 'www.': 0, 'xml': 0}, 'pii_count': 0, 'substrings_counts': 0, 'word_list_counts': {'cursed_substrings.json': 2, 'profanity_word_list.json': 0, 'sexual_word_list.json': 0, 'zh_pornsignals.json': 0}}
{'chain_length': '3', 'dir': 'jupyter-structured-clean-dedup', 'id': '177240', 'license': 'MIT-0', 'n_tokens_mistral': 1822, 'n_tokens_neox': 1749, 'n_words': 315, 'path': 'Dataset.ipynb', 'repo_name': 'vi117/my-nsmc-study', 'size': '3072'}