<jupyter_start><jupyter_text>Extractor 사용법 (신어후보 추출 )<jupyter_code>import Extractor # Extractor 모듈 import
import pandas as pd
import sqlite3<jupyter_output><empty_output><jupyter_text>- Data Load<jupyter_code>conn = sqlite3.connect('News.db') # 신어후보를 추출하고자 하는 db선택 News.db뿐만 아니라 Ent.db, HP.db가 있음
cur = conn.cursor()
df = pd.read_sql('SELECT head FROM head ORDER BY wdate DESC',conn) # db를 Dataframe으로 저장
conn.close()
df.drop_duplicates(keep='first', inplace=True) # 중복 게시글 제거<jupyter_output><empty_output><jupyter_text>- Instance화    - 이 때, 분석하고자 하는 DataFrame을 argument로 넘겨줘야한다.<jupyter_code>ext = Extractor.Ext(df)<jupyter_output><empty_output><jupyter_text>- Stopwords 처리<jupyter_code>df = ext.cleaning()<jupyter_output><empty_output><jupyter_text>- 신어후보 추출    - extract_nouns에서 1차 신어후보를 찾고 search_dict에서 사전에 없는 단어를 추출하여 2차 신어후보 추출<jupyter_code>new_words = ext.search_dict(sorted(ext.extract_nouns().items(),key=lambda _:_[1], reverse=True))<jupyter_output><empty_output><jupyter_text>- 변수 추출을 위한 문장 추출    - 신어후보 단어가 들어가 있는 문장을 추출한다.<jupyter_code>sent = ext.extract_sent(new_words)<jupyter_output><empty_output><jupyter_text>- 변수 추출    - Model을 이용하여 최종 신어를 판별하기 위해 총 11가지 통계적인 변수를 추출한다.<jupyter_code>statistic = ext.extract_statistic_value(sent)
# 위에서 신어후보가 들어가있는 문장을 이용하여 신어 판별에 필요한 8가지 변수 추출

r_rat = ext.extract_r_rat(sent,statistic)
# 신어후보의 오른쪽에 ~들이 붙은 비율, 신어후보의 오른쪽에 그 외의 조사가 붙은 비율, 신어후보의 오른쪽에 white space가 붙은 비율
# 위 3가지 변수를 추출한다.

statistic = ext.combine_var(statistic, r_rat)
# statistic에서 추출한 8가지 변수와 r_rat에서 추출한 3가지 변수를 합쳐서 11개 변수 생성

conn = sqlite3.connect('News_var.db') 
statistic.to_sql('var', conn) # 11개 변수를 Database에 저장한다.<jupyter_output><empty_output>
{'fraction_non_alphanumeric': 0.10712148414123279, 'fraction_numerical': 0.009575104727707959, 'mean_word_length': 6.084745762711864, 'pattern_counts': {'":': 0, '<': 29, '<?xml version=': 0, '>': 29, 'https://': 0, 'lorem ipsum': 0, 'www.': 0, 'xml': 0}, 'pii_count': 0, 'substrings_counts': 0, 'word_list_counts': {'cursed_substrings.json': 0, 'profanity_word_list.json': 0, 'sexual_word_list.json': 0, 'zh_pornsignals.json': 0}}
{'chain_length': '7', 'dir': 'jupyter-structured-clean-dedup', 'id': '232218', 'license': 'MIT', 'n_tokens_mistral': 929, 'n_tokens_neox': 1096, 'n_words': 160, 'path': 'tutorials/Extractor_usage.ipynb', 'repo_name': 'Kimyungi/KINT', 'size': '1671'}