<jupyter_start><jupyter_text>카카오톡 데이터 처리- kakao.txt파일을 입력- [대화명]에 해당하는 사람의 대화를 추출하여 바로 위 대화와 짝을 지어 학습 데이터셋 구성<jupyter_code>import pandas as pd
from tqdm.notebook import tqdm
nickname = '혜성' #학습 대상 닉네임
nickname = '[' + nickname
f = open('kakao.txt', 'r', encoding='UTF-8')
lines = f.readlines()[5:]
df = pd.DataFrame(columns=['questions', 'answers'])
name = msg = '' #바로 이전 대화 저장
for line in tqdm(lines):
    #대화가 아닌 부분에 대한 예외처리
    if line.find('들어왔습니다.')>0 or line.find('나갔습니다.')>0 or line.find('---------------')>=0: continue
    if line.find('[오전')==-1 and line.find('[오후')==-1: continue
        
    try:
        last_name, last_msg = name, msg
        name, msg = line.split('] [')
        msg = msg.split('] ',1)[1].strip()
        #링크가 들어간 부분은 제외
        if name==nickname and last_name!=nickname and last_msg.find('http')==-1 and msg.find('http')==-1:
            df = df.append({'questions':last_msg, 'answers':msg}, ignore_index=True)
    except:
        pass
df.to_csv('processed_kakao.csv', index = False)
df<jupyter_output><empty_output>
{'fraction_non_alphanumeric': 0.18571428571428572, 'fraction_numerical': 0.010476190476190476, 'mean_word_length': 3.2379032258064515, 'pattern_counts': {'":': 0, '<': 5, '<?xml version=': 0, '>': 8, 'https://': 0, 'lorem ipsum': 0, 'www.': 0, 'xml': 0}, 'pii_count': 0, 'substrings_counts': 0, 'word_list_counts': {'cursed_substrings.json': 0, 'profanity_word_list.json': 0, 'sexual_word_list.json': 0, 'zh_pornsignals.json': 0}}
{'chain_length': '1', 'dir': 'jupyter-structured-clean-dedup', 'id': '387844', 'license': 'MIT', 'n_tokens_mistral': 499, 'n_tokens_neox': 575, 'n_words': 101, 'path': 'python/0. kakaotalk_preprocessing.ipynb', 'repo_name': 'Gumgo91/CometAI_Tensorflow.js_Chatbot', 'size': '1050'}