<jupyter_start><jupyter_text>EDA- EDA란?    - EDA란 데이터 분석 전 데이터를 온전히 보는 태도이자 철학이다.    - 데이터의 본질을 탐구하기 위한 자세이다. 인간의 강력한 패턴 인지능력 때문에 시각화 기법이 많이 사용된다. >EDA is an approach to data analysis that postpones the usual assumptions about what kind of model the data follow with the more direct approach of allowing the data itself to reveal its underlying structure and model.>EDA is not a mere collection of techniques. EDA is a philosophy as to how we dissect a data set; what we look for; how we look; and how we interpret.      Before EDA EDA 전에 설명서를 잘 파악해야한다.- From <NAME>님의 Medium Blog, _EDA, __'데이터 설명서에서 시작하기'__- EDA에 있어서, 데이터의 분포나 변수간 관계를 파악하기 위해 히스토그램, 산점도, 상관관계표 등 다양한 시각화 방법이 동원.- EDA전에 데이터의 변수 각각의 의미를 먼저 파악하는 것이 선행되야 할 것.- 이는 다른사람과 협업시에 '데이터 설명서'를 작성하는 것과 연관.- 데이터 꼼꼼히 들여다보며 각각의 변수가 어떤 의미인지, 어떤 방식으로 측정된 것인지, 명목형인지 수치형인지, 실제 의미대로 코딩되었는지 정확히 이해하는 이 과정은 데이터로부터 좋은 인사이트를 얻는 출발점- 변수의 의미를 파악하고 그에 맞게 전처리할 때, 실제에 가까운 정보를 가진 데이터 셋이 구성된다. 기초공사의 개념.     데이터 분석에서 가장 중요한 것은???- From '나자바바'님 Youtube.![image.png](attachment:283d3e19-a2ad-4c7b-a264-746256382c98.png)- 데이터 분석에서 가장 중요한 것이 무엇인지를 묻는다면 '인사이트'의 도출- 분석 방식과 분석 대상을 고려해야함- 만약 내가 무엇을 찾아야하는지 알면 이미 인사이트는 도출된 것 -> '최적화'가 가장 중요- 위의 매트릭스에 맞는 행동! -> ADSP에 나옴.>    > 데이터 분석에서 가장 중요한 것은 인사이트의 발견이다. 허나 분석 대상과 분석 방식을 이미 알고 있다면 최적화가 더 중요하다. 인사이트는 EDA를 통해서 얻는다.  > EDA -> 인사이트  /  ML -> 최적화    __참고__1. https://medium.com/mighty-data-science-bootcamp/eda-%EB%8D%B0%EC%9D%B4%ED%84%B0-%EC%84%A4%EB%AA%85%EC%84%9C%EC%97%90%EC%84%9C-%EC%8B%9C%EC%9E%91%ED%95%98%EA%B8%B0-230060b9fc172. https://www.itl.nist.gov/div898/handbook/eda/section1/eda11.htm3. https://eda-ai-lab.tistory.com/13<jupyter_code>오늘 할일 :
    EDA에 대해 관련된 사이트 읽고 내 나름대로 정리.
    내일 볼 EDA 커널 캐글에서 2개 정도 찾아놓기.<jupyter_output><empty_output>
{'fraction_non_alphanumeric': 0.09850230414746544, 'fraction_numerical': 0.04435483870967742, 'mean_word_length': 3.4652956298200515, 'pattern_counts': {'":': 0, '<': 6, '<?xml version=': 0, '>': 15, 'https://': 3, 'lorem ipsum': 0, 'www.': 1, 'xml': 0}, 'pii_count': 0, 'substrings_counts': 0, 'word_list_counts': {'cursed_substrings.json': 0, 'profanity_word_list.json': 0, 'sexual_word_list.json': 0, 'zh_pornsignals.json': 0}}
{'chain_length': '1', 'dir': 'jupyter-structured-clean-dedup', 'id': '14800', 'license': 'MIT', 'n_tokens_mistral': 1248, 'n_tokens_neox': 1548, 'n_words': 270, 'path': 'Daily_A/Data_EDA.ipynb', 'repo_name': 'CRFTMN/Practice', 'size': '1741'}