<jupyter_start><jupyter_text>SQL-	구조적 질의 언어-	SQL은 관계형 데이터 베이스의 데이터를 관리하기 위해 설계된 특수 목적의 프로그래밍 언어 -	데이터 베이스에서 정형 데이터 분석을 위한 필수 요소-	DDL , DML , DCL , TCL(트랜잭션 제어 언어) DDL-	데이터 정의 언어-	관계형 데이터 베이스에 테이블 구조를 정의하고 생성하거나 기존의 테이블의 구조 변경 또는 삭제하는 명령어-	CREATE, ALTER, DROP DML-	데이터 조작 언어-	데이터 베이스의 테이블에 들어있는 데이터들을 조회하거나 변경하는 명령어-	SELECT, INSERT, DLELTE, UPDATE DCL-	데이터 제어 언어-	데이터 베이스에 있는 테이블에 대한 사용 권한 부여나 회수를 위한 명령어-	GRANT, REVOKE TCL-	트랜잭션 제어 언어    1)	수행 결과에 완전성을 보장하는 단위    2)	원자성, 일관성, 독립성, 지속성-	COMMIT, ROLLBACK--- HADOOP-	Open source java software framework-	Google의 GFS논문을 기반으로 출발-	더크커팅과 마이크 캐러렐라가 개발-	더그 커팅의 아들이 가지고 놀던 노란 코끼리 이름에서 유래-	HDFS(하둡 분산 파일 시스템), MapReduce(맵리듀스) HDFS-	하둡의 분산형 파일 시스템-	Name node : 파일의 메타 정보를 관리-	Data node : 실제 데이터를 저장하고 내보내는 역할 MapReduce-	Map, reduce라는 두 개의 함수 조합-	분산/병렬 시스템에서 데이터를 처리하는 프레임워크-	map : 나누어진 단위에서 계산 / reduce : key 별로 합침--- SPARK-	In-memory 기반 open source cluster computing framework-	하둡의 맵리듀스와 유사한 역할을 하지만 메모리 활용을 극대화 했기 때문에 속도가 월등히 빠름-	최근에는 메모리 가격도 저렴하고 하드웨어 성능도 많이 올라가서 스파크를 더 많이 선호-	Scale, python으로 개발 가능  스파크의 핵심 개녕 == RDD-	Resilient Distributed Datasets-	스파크에서 활용되는 내부 데이터 모델-	병렬처리가 가능하고 장애가 발생할 경우에도 스스로 복구되는 내성-	RDD는 한 번 생성되면 바뀌지 않으며 다른 형태로 변환이 필요할 경우 새로 RDD를 만들어 냄-	장애시 RDD진행 절차를 기억하여 그대로 복구 spark 요소-	Spark SQL : SQL 로 데이터 처리-	Spark streaming : 실시간 스트리밍 데이터를 처리하는 프레임 워크-	Spark mllib : 머신러닝 알고리즘 라이브러리-	Spark graphX : 그래프 연산용 서브 모듈--- HIVE-	하둡기반의 데이터 웨어 하우스 소프트웨어-	SQL기반의 데이터 요약 , 질의 및 분석 기능 제공-	특징    1)	HDFS & Hbase 등 여러 하둡 에코들과 호환    2)	기본 분석을 위한 QL제공    3)	다수의 내부 함수, 분석 함수 제공    4)	UDF 지원    5)	다양한 파일 형식으로 전환 가능--- NoSQL DB배경-	관계형 데이터 베이스의 한계점 도달    1)	전통적인 관계형 데이터베이스는 테이블 간의 관계를 통해 다양한 데이터 조회 가능    2)	BUT !!!!!!  빅데이터 시대로 오면서 대량의 데이터 적재에 따른 비용이 증가하고 처리 성능에 한계에 도달.  - 관계형 데이터 베이스의 일부 기능을 포기하더라도 확장이 유연하고 저장/조회의 성능이 좋은 것을 선호 NoSQL 특징-	고정형 table schema 필요-	적재와 조회 성능 최적화-	테이블 간 관계형 설정 지양, join 경우 성능 저하-	scale out 을 통한 수평적 규모 확장 CAP 이론 -	분산시스템에서 세 가지 속성을 모두 만족할 수 없다는 이론    1)	일관성 : 모든 사용자가 같은 순간에 같은 데이터를 볼 수 있다    2)	가용성 : 모든 클라이언트는 항상 읽기/쓰기가 가능하다    3)	분할성 : 시스템이 물리적 네트워크로 분할된 상태에서 정상 작동한다 ACID-	트랜잭션이 안전하게 수행되는 것을 보장하기 위해 관계형 데이터베이스가 가져야하는 특성    1)	원자성 : 한 트랜잭션 안의 모든 작업은 모두 성공하거나 실패해야함    2)	일관성 : 한 트랜잭션이 성공하면 모든 데이터는 동시에 일관된 상태로 유지    3)	고립성 : 한 트랜잭션이 수행되는 동안 다른 트랜잭션이 수행될 수 없음    4)	지속성 : 트랜잭션이 성공하면 해당 최종 상태는 영원히 반영됨 BASE-	basically available 데이터는 어떠한 경우에든 항상 활용될 수 있는 특성     * ACID 의 고립성과 대립되는 특성-	Soft-state     * 분산 노드 간 업데이트는 데이터가 노드에 도달한 시점에 갱신-	Eventual consistency    * 일관성을 제공하되 모든 노드에서 동시에 보장되지는 않음    * 시간이 지나면 일관성이 보장되는 ‘지연된 일관성’ 보장  NoSQL 활용 시점? -	실시간 대용량 데이터 적재가 필요할 시 -	테이블 간 join등의 처리가 거의 없을 때-	DB 확장이 유연해야하는 경우 용도가 명확할 경우 강력한 NoSQL DB!!     1)	데이터 분석가     2)	데이터 엔지니어    3)	데이터 사이언티스트  데이터 분석 절차 - 분석 목적 및 방향 결정  데이터 선택 및 수집  데이터 탐색 및 정제  모델 생성 및 평가  적용 데이터 분석가의 역할    1)	데이터 선택 및 수집 (가설 수립  분석 데이터 정의  분석 데이터 수집)    2)	통계지식, 수학능력    3)	R, python, 엑셀 등의 툴 활용 데이터 엔지니어의 역할 1.	 분석단계    1)	적용 (프로세스 설계  시스템 개발  운영적용 및 모니터링(시각화))    2)	분석 데이터 수집, 샘플링 및 데이터 정제를 하기도 함 2.	시스템화 단계 - 데이터 수집  데이터 통합 및 전처리  분석 알고리즘 개발  시각화  운영     ** 데이터 엔지니어는 DATA PIPELINE !       ** 데이터 수집부터 시각화까지 전체 데이터 흐름을 진행  3.	주요 역량         1)	컴퓨터 엔지니어링        2)	프로그램 개발 능력(java, python)        3)	데이터 저장 기술 (DB, SQL)        4)	web등 시스템화 관련 기술        5)	분산 시스템 뿐만 아니라 클라우드 시스템도 알아야함  데이터 사이언티스트의 역량    1)	businesss knowledge    2)	통계학 및 기계학습    3)	R, Python 등의 프로그래밍 스킬    4)	빅데이터 기술 이해    5)	시각화 및 보고    6)	호기심 !!! (다양한 방법을 시도하고자하는)<jupyter_code><jupyter_output><empty_output>
{'fraction_non_alphanumeric': 0.06140350877192982, 'fraction_numerical': 0.011111111111111112, 'mean_word_length': 2.4175824175824174, 'pattern_counts': {'":': 0, '<': 5, '<?xml version=': 0, '>': 5, 'https://': 0, 'lorem ipsum': 0, 'www.': 0, 'xml': 0}, 'pii_count': 0, 'substrings_counts': 0, 'word_list_counts': {'cursed_substrings.json': 0, 'profanity_word_list.json': 0, 'sexual_word_list.json': 0, 'zh_pornsignals.json': 0}}
{'chain_length': '1', 'dir': 'jupyter-structured-clean-dedup', 'id': '427569', 'license': 'MIT', 'n_tokens_mistral': 2885, 'n_tokens_neox': 4146, 'n_words': 711, 'path': 'Summary/Data_Analysis_06.ipynb', 'repo_name': 'CATERINA-SEUL/TIL', 'size': '3420'}