<jupyter_start><jupyter_text>💻IDS507 | Lab02_practicePandas 활용한 전처리TA: 류 회 성(Hoe Sung Ryu) Concepts | 오늘 배울 개념---- 판다스 기본을 익힌다  1. 기본구조  1. 생성  1. 확인   1. 접근  1. 삭제  1. 수정 및 연산  1. 결합  📌1.드라이브 연동<jupyter_code>from google.colab import drive # 드라이브 연동
drive.mount('/content/gdrive')
import os
os.chdir('/content/gdrive/My Drive/IDS507-00/2022_IDS507_Lab') # DataPath 설정 
!pwd<jupyter_output>/content/gdrive/MyDrive/IDS507-00/2022_IDS507_Lab<jupyter_text>📌2. 판다스 기본Python에서 정형 데이터(e.g. 테이블 형식의 데이터)를 쉽게 처리할 수 있는 라이브러리 데이터 분석 시 자주 사용 됨  1) 데이터 구조- index: 데이터 순서- DataFrame: 데이터의 2차원 표현   2) 데이터 생성<jupyter_code># import 
import pandas as pd 

# Construct the DataFrame
products_df = pd.DataFrame({'category': ['Cleaning', 'Cleaning', 'Entertainment', 'Entertainment', 'Tech', 'Tech'],
                            'store': ['Walmart', 'Dia', 'Walmart', 'Fnac', 'Dia', 'Walmart'],
                            'price': [11.42, 23.50, 19.99, 15.95, 55.75, 111.55],
                            'testscore': [4, 3, 5, 7, 5, 8]})
products_df<jupyter_output><empty_output><jupyter_text>---    예제(Exercise):                    다음 그림과 동일한 데이터프레임을 만드시오.              3) 데이터프레임 확인- display() : print()와 동일한역할- df.head() : 시작에서 마지막 까지 불러옴- df.tail() : 끝에서 시작까지 불러옴- df.index : 인덱스 array 출력- df.columns : 컬럼 array 출력- df.values : 표의 내부 자료 array 출력- df.describe() : 데이터의 대략적인 통계적 정보 요약> count(컬럼당 자료 갯수) // mean(컬럼당 평균) // std(컬럼당 표준편차) // min, max, 25%, 50%, 75%형태 바꾸기- df.T : 데이터를 전치합니다. ( column과 인덱스 가 서로 바뀌기)- df.sort_index(axis=1, ascending=False) : 축별로 정렬하기> axis = 0 : 행 식별 // axis = 1 : 열 식별 // ascending : 오름차순 // df.sort_values(by="B") : 값 별로 정렬<jupyter_code><jupyter_output><empty_output><jupyter_text>4) 데이터프레임 접근- bracket indexing : column 이름 또는 index 위치 또는 index 이름 를 통해서 접근- loc : index 이름 을 통해서 접근- iloc : index 위치 를 통해서 접근- at : 지정된 행 / 열 쌍에서 값 가져 오기 -> 같은 방식으로 값설정도 가능함- 조건색인<jupyter_code><jupyter_output><empty_output><jupyter_text>5) 데이터프레임 삭제- del: 해당 열 삭제- drop: 해당 행, 열을 삭제<jupyter_code><jupyter_output><empty_output><jupyter_text>6) 수정 및 연산1.   astype2.   항목 추가<jupyter_code><jupyter_output><empty_output><jupyter_text>7) 데이터 프레임 결합하기 https://pandas.pydata.org/pandas-docs/stable/user_guide/merging.html- concat : pandas 객체를 연결 - 인덱스 이어 붙이기- join : SQL 방식으로 병합<jupyter_code><jupyter_output><empty_output><jupyter_text>8) iterrows()<jupyter_code>products_df.columns
for i, (category, store, price, testscore) in products_df.iterrows():
  print(category, store, price, testscore)<jupyter_output>Cleaning Walmart 11.42 4
Cleaning Dia 23.5 3
Entertainment Walmart 19.99 5
Entertainment Fnac 15.95 7
Tech Dia 55.75 5
Tech Walmart 111.55 8
{'fraction_non_alphanumeric': 0.13527851458885942, 'fraction_numerical': 0.04509283819628647, 'mean_word_length': 3.4745762711864407, 'pattern_counts': {'":': 0, '<': 31, '<?xml version=': 0, '>': 34, 'https://': 1, 'lorem ipsum': 0, 'www.': 0, 'xml': 0}, 'pii_count': 0, 'substrings_counts': 0, 'word_list_counts': {'cursed_substrings.json': 0, 'profanity_word_list.json': 0, 'sexual_word_list.json': 0, 'zh_pornsignals.json': 0}}
{'chain_length': '8', 'dir': 'jupyter-structured-clean-dedup', 'id': '252455', 'license': 'Unlicense', 'n_tokens_mistral': 1522, 'n_tokens_neox': 1725, 'n_words': 304, 'path': 'Lab02_practice.ipynb', 'repo_name': 'hoesungryu/2022_IDS507_Lab', 'size': '2639'}