<jupyter_start><jupyter_text><jupyter_code>!pip uninstall tensorflow -y
!pip install tensorflow==1.14 # 1.14 버전 Tensorflow 설치
ls
cd ..
ls
!cd content
ls
cd content
!git clone https://github.com/kakao/khaiii.git
!pip install cmake
!mkdir build
!cd build && cmake /content/khaiii
!cd /content/build/ && make all
!cd /content/build/ && make resource
!cd /content/build && make install
!cd /content/build && make package_python
!pip install /content/build/package_python
!git clone https://github.com/SOMJANG/Mecab-ko-for-Google-Colab.git
!cd Mecab-ko-for-Google-Colab/
!bash install_mecab-ko_on_colab190912.sh
!pip install -U gensim==3.8.3
!pip install python-Levenshtein
!pip install soynlp
!pip install soyspacing
!pip install konlpy
!pip install sentencepiece
!pip install fasttext
!python3 -m pip install --upgrade pip
!python3 -m pip install konlpy    
cd ..
!git clone https://github.com/NVIDIA/nccl
!cd nccl
!make
!sudo make install<jupyter_output><empty_output><jupyter_text>06 임베딩 파인 튜닝- 네이버 영화 리뷰 말뭉치를 가지고 극성을 분류하는 다운스트림 태스크를 수행한다.  6.1. 프리트레인과 파인 튜닝- 파인 튜닝이란 프리트레인 이후 추가 학습을 시행해 임베딩을 다운스트림 태스크에 맞게 업데이트- 파인 튜닝 기법은 자연어 처리 분야에서 점차적으로 널리 쓰이고 있다.  6.2. 분류를 위한 파이프라인 만들기- 네이버 영화 리뷰 : 레이블이 긍부정 두 개 뿐인 간단한 문제  6.3. 단어 임베딩 활용  6.3.1. 네트워크 개요- 단어 임베딩을 1개층의 양방향 LSTM 레이어에 태우고 각 LSTM 셀에서 나온 출력 벡터들에 어텐션 메커닌즘을 적용해 고정된 길이의 히든 벡터로 만든다.- 히든 벡터를 ReLu인 피드포워드 네트워크에 입ㄱ력한다.- 피드포워드 네트워크의 출력 벡터인 로짓 벡터에 소프트멕스를 취해 긍부정 2차원의 확률 벡터를 만든다- 이를 정답 레이블과 비교해 학습 손실을 구하고 이 손실을 최소화하는 방향으로 모델 전체를 업데이트한다.- 이러한 임베딩까지 모두 업데이트 하는 방법을 파인 튜닝이라고 한다.  6.3.3. 튜토리얼<jupyter_code>cd ..
cd ..
cd ..
!mkdir notebooks
cd notebooks
!git clone https://github.com/waltechel/embedding.git
cd embedding<jupyter_output><empty_output><jupyter_text>- 코드 6-12 데이터 다운로드<jupyter_code>!bash preprocess.sh dump-processed
!bash preprocess.sh dump-word-embeddings<jupyter_output><empty_output><jupyter_text>- 코드 6-13 랜덤 임베딩 파인 튜닝<jupyter_code>ls
!nohup sh -c "python models/tune_utils.py --model_name word --train_corpus_fname data/processed/processed_ratings_train.txt --test_corpus_fname data/processed/processed_ratings_test.txt --embedding_name random --model_save_path data/word-embeddings/random-tune" > tune-random.log &
!python models/tune_utils.py --model_name word --train_corpus_fname data/processed/processed_ratings_train.txt --test_corpus_fname data/processed/processed_ratings_test.txt --embedding_name random --model_save_path data/word-embeddings/random-tune<jupyter_output><empty_output><jupyter_text>- 코드 6-14 Word2Vec 임베딩 파인 튜닝<jupyter_code>!nohup sh -c "python models/tune_utils.py --model_name word --train_corpus_fname data/processed/processed_ratings_train.txt --test_corpus_fname data/processed/processed_ratings_test.txt --embedding_name word2vec --embedding_fname data/word-embeddings/word2vec/word2vec --model_save_path data/word-embeddings/word2vec-tune" > tune-word2vec.log &<jupyter_output><empty_output><jupyter_text>- 코드 6-15 FastText 임베딩 파인 튜닝<jupyter_code>!nohup sh -c "python models/tune_utils.py --model_name word --train_corpus_fname data/processed/processed_ratings_train.txt --test_corpus_fname data/processed/processed_ratings_test.txt --embedding_name fasttext --embedding_fname data/word-embeddings/fasttext/fasttext.vec --model_save_path data/word-embeddings/fasttext-tune" > tune-ft.log &<jupyter_output><empty_output><jupyter_text>- 코드 6-16 GloVe 임베딩 파인 튜닝<jupyter_code>!nohup sh -c "python models/tune_utils.py --model_name word --train_corpus_fname data/processed/processed_ratings_train.txt --test_corpus_fname data/processed/processed_ratings_test.txt --embedding_name glove --embedding_fname data/word-embeddings/glove/glove.txt --model_save_path data/word-embeddings/glove-tune" > tune-glove.log &<jupyter_output><empty_output><jupyter_text>- 코드 6-17 Swivel 임베딩 파인 튜닝<jupyter_code>!nohup sh -c "python models/tune_utils.py --model_name word --train_corpus_fname data/processed/processed_ratings_train.txt --test_corpus_fname data/processed/processed_ratings_test.txt --embedding_name swivel --embedding_fname data/word-embeddings/swivel/row_embedding.tsv --model_save_path data/word-embeddings/swivel-tune" > tune-swivel.log &
cd content/nccl
!make
!sudo make install<jupyter_output><empty_output>
{'fraction_non_alphanumeric': 0.10369487485101311, 'fraction_numerical': 0.013587604290822407, 'mean_word_length': 5.011461318051576, 'pattern_counts': {'":': 0, '<': 33, '<?xml version=': 0, '>': 38, 'https://': 4, 'lorem ipsum': 0, 'www.': 0, 'xml': 0}, 'pii_count': 0, 'substrings_counts': 0, 'word_list_counts': {'cursed_substrings.json': 0, 'profanity_word_list.json': 0, 'sexual_word_list.json': 0, 'zh_pornsignals.json': 0}}
{'chain_length': '8', 'dir': 'jupyter-structured-clean-dedup', 'id': '599090', 'license': 'MIT', 'n_tokens_mistral': 2098, 'n_tokens_neox': 2290, 'n_words': 381, 'path': 'embeddingChapter06.ipynb', 'repo_name': 'waltechel/embedding', 'size': '4195'}