<jupyter_start><jupyter_text>[Open with Colab](https://colab.research.google.com/github/1never/dialogue_system_with_python/blob/master/bert_dbdc_finetuning.ipynb) 必要なライブラリであるtransformersとtensorboardXをインストールします．同時に，transformersのソースコードもGitHubからダウンロードします．<jupyter_code>!pip install transformers==2.1.1
!pip install tensorboardX==1.9
!git clone https://github.com/huggingface/transformers.git -b v2.1.1<jupyter_output><empty_output><jupyter_text>データの読み込みと保存のためGoogle Driveに接続します．「Go to this URL in a browser: https:// ...」と表示されるのでURLをクリックし，使用するアカウントを選択します．次のページで「許可」ボタンをクリックするとコードが表示されますので，そのコードを「Enter your authorization code:」の下の入力欄に入れ，エンターキーを押してください．<jupyter_code>from google.colab import drive
drive.mount('./drive')<jupyter_output><empty_output><jupyter_text>対話破綻検出のためのBERTのファインチューニングを実行します．<jupyter_code>!python transformers/examples/run_glue.py --data_dir /content/drive/My\ Drive/dialogue_system_with_python/dbdc_bert/  --overwrite_output_dir \
--model_type bert --model_name_or_path bert-base-multilingual-cased  --task_name STS-B --evaluate_during_training \
--output_dir /content/drive/My\ Drive/dialogue_system_with_python//dbdc_bert/out/ --do_train --do_eval  --per_gpu_train_batch_size 32<jupyter_output><empty_output>
{'fraction_non_alphanumeric': 0.11482084690553745, 'fraction_numerical': 0.008957654723127036, 'mean_word_length': 8.31060606060606, 'pattern_counts': {'":': 0, '<': 13, '<?xml version=': 0, '>': 13, 'https://': 3, 'lorem ipsum': 0, 'www.': 0, 'xml': 0}, 'pii_count': 0, 'substrings_counts': 0, 'word_list_counts': {'cursed_substrings.json': 0, 'profanity_word_list.json': 0, 'sexual_word_list.json': 0, 'zh_pornsignals.json': 0}}
{'chain_length': '3', 'dir': 'jupyter-structured-clean-dedup', 'id': '39036', 'license': 'MIT', 'n_tokens_mistral': 585, 'n_tokens_neox': 553, 'n_words': 49, 'path': 'bert_dbdc_finetuning.ipynb', 'repo_name': '1never/dialogue_system_with_python', 'size': '1228'}