<jupyter_start><jupyter_text>Source Code Download<jupyter_code>%%bash
cd /content/drive/MyDrive/
rm -rf AI_CNN_RNN
git clone https://github.com/Finfra/AI_CNN_RNN<jupyter_output><empty_output><jupyter_text>Verion 확인<jupyter_code>import sys
sys.version
import tensorflow as tf
tf.__version__<jupyter_output><empty_output><jupyter_text>Magic command<jupyter_code>!ls
!pwd

!cd
!pwd
%cd /
!pwd

%cd /content<jupyter_output><empty_output><jupyter_text>GPU 사용여부 확인* 메뉴 → Runtime → Change Runtime Type → Hardware Accelerator를 GPU로 변경<jupyter_code>import tensorflow as tf
tf.config.list_physical_devices('GPU')<jupyter_output><empty_output><jupyter_text>설치  pip 설치라이브러리가 없는 경우 pip 를 통해 설치를 해준다.<jupyter_code>!pip install konlpy<jupyter_output><empty_output><jupyter_text>설치된 라이브러리는 dir 명령어를 통해 기능들을 확인할 수 있다.<jupyter_code>import konlpy
dir(konlpy)<jupyter_output><empty_output><jupyter_text>apt installapt install 도 설치 가능하다.<jupyter_code>!apt install imagemagick
!convert -version<jupyter_output><empty_output><jupyter_text>Colab 연결유지크롬에서 F12 버튼을 눌러 개발자 도구를 열어주고, Console 탭에 아래 코드를 쳐주면 긴 작업시에 연결유지를 도와준다.(코드 상의 인터벌은 60초이다.)<jupyter_code>function ClickConnect() {
    var buttons = document.querySelectorAll("colab-dialog.yes-no-dialog paper-button#cancel"); 
    buttons.forEach(function(btn) { 
        btn.click(); 
    }); 
    console.log("Colab 연결 유지"); 
    document.querySelector("colab-toolbar-button#connect").click(); 
} 
setInterval(ClickConnect,60*1000);<jupyter_output><empty_output><jupyter_text>buffered data was truncated after reaching the output size limit 에러 방지를 위해 현재 출력창을 자동으로 지워주는 코드<jupyter_code>function CleanCurrentOutput(){ 
    var btn = document.querySelector(".output-icon.clear_outputs_enabled.output-icon-selected[title$='현재 실행 중...'] iron-icon[command=clear-focused-or-selected-outputs]"); 
    if(btn) { console.log("30분마다 출력 지우기");
     btn.click(); 
    } 
} 
setInterval(CleanCurrentOutput,30*60*1000);<jupyter_output><empty_output>
{'fraction_non_alphanumeric': 0.11632653061224489, 'fraction_numerical': 0.01020408163265306, 'mean_word_length': 6.60077519379845, 'pattern_counts': {'":': 0, '<': 37, '<?xml version=': 0, '>': 37, 'https://': 1, 'lorem ipsum': 0, 'www.': 0, 'xml': 0}, 'pii_count': 0, 'substrings_counts': 0, 'word_list_counts': {'cursed_substrings.json': 1, 'profanity_word_list.json': 0, 'sexual_word_list.json': 0, 'zh_pornsignals.json': 0}}
{'chain_length': '9', 'dir': 'jupyter-structured-clean-dedup', 'id': '356631', 'license': 'MIT', 'n_tokens_mistral': 882, 'n_tokens_neox': 981, 'n_words': 136, 'path': '00_Background/NoneNLP_background/Colab.ipynb', 'repo_name': 'Finfra/AI_NLP', 'size': '1960'}