<jupyter_start><jupyter_text>딩고 프리스타일 간단한 분석 데이터는 전 유튜브 크롤링한 데이터를 기반으로 했습니다. *참고:<jupyter_code>pip install konlpy
import pandas as pd
import seaborn as sns
import re
from konlpy.tag import Kkma
# 데이터 로드
dingo = pd.read_csv("dingo.csv")
dingo<jupyter_output><empty_output><jupyter_text>전처리<jupyter_code># start_date의 날짜만 남겨놓기 위해 전처리
dingo['start_date'] = dingo['start_date'].replace("최초 공개","",regex=True).replace("•","",regex=True).replace(":","",regex=True).replace("\.$","",regex=True).str.replace(" ","")
#view의 만회를 실질적인 숫자로 변경
dingo['view'] = dingo['view'].replace({'만회':'*10000'},regex=True).map(pd.eval).astype(int)
#comment컬럼도 숫자만 처리
dingo['comment']=dingo['comment'].str.replace(",","").str.replace(r'(\w+\s)',"").str.replace("개","").astype(int)
#likes컬럼 천개,만개 숫자로 변경
dingo['likes_num'] = dingo['likes_num'].replace({'만개':'*10000','천개':'*1000'},regex=True).map(pd.eval).astype(int)
#unlikes_num 개 제거
dingo['unlikes_num'] = dingo['unlikes_num'].replace({'개':'','천':'*1000'},regex=True).map(pd.eval).astype(int)
#참고하는 사이트처럼 이모티콘 제거
emoji_pattern = re.compile("["
        u"\U0001F600-\U0001F64F"  # emoticons
        u"\U0001F300-\U0001F5FF"  # symbols & pictographs
        u"\U0001F680-\U0001F6FF"  # transport & map symbols
        u"\U0001F1E0-\U0001F1FF"  # flags (iOS)
                           "]+", flags=re.UNICODE)
#분석에 어긋나는 불용어구 제외 (특수문자, 의성어) 제거
han = re.compile(r'[ㄱ-ㅎㅏ-ㅣ!?~,".\n\r#\ufeff\u200d]')
title_ls = []
for i in range(len(dingo)):
    a = re.sub(emoji_pattern,"",dingo['name'].iloc[i])
    
    b = re.sub(han,"",a)
    
    title_ls.append(b)

dingo['name'] = title_ls<jupyter_output><empty_output><jupyter_text>상관관계 측정<jupyter_code>corr = dingo[['view','likes_num','comment','unlikes_num']].corr()
corr
#대체적으로 상관관계가 높은것으로 판단된다
sns.heatmap(corr,annot=True)<jupyter_output><empty_output><jupyter_text>타이틀 토큰화<jupyter_code>kkma = Kkma()
for text in range(len(dingo)):
    noun0 = Kkma.pos(dingo['name'].iloc[text])<jupyter_output><empty_output>
{'fraction_non_alphanumeric': 0.20841784989858012, 'fraction_numerical': 0.035496957403651115, 'mean_word_length': 5.66554054054054, 'pattern_counts': {'":': 1, '<': 17, '<?xml version=': 0, '>': 17, 'https://': 0, 'lorem ipsum': 0, 'www.': 0, 'xml': 0}, 'pii_count': 0, 'substrings_counts': 0, 'word_list_counts': {'cursed_substrings.json': 0, 'profanity_word_list.json': 0, 'sexual_word_list.json': 0, 'zh_pornsignals.json': 0}}
{'chain_length': '4', 'dir': 'jupyter-structured-clean-dedup', 'id': '247146', 'license': 'MIT', 'n_tokens_mistral': 1035, 'n_tokens_neox': 1119, 'n_words': 119, 'path': '_posts/.ipynb_checkpoints/Untitled-checkpoint.ipynb', 'repo_name': 'jyeon94/jyeon94.github.io', 'size': '1972'}