<jupyter_start><jupyter_text>BERTのモデル自然言語処理ライブラリPyTorch-Transformersを使って、BERTのモデルの実装を見ていきます。  ライブラリのインストールPyTorch-Transformers、および必要なライブラリのインストールを行います。<jupyter_code>!pip install folium==0.2.1
!pip install urllib3==1.25.11
!pip install transformers==4.13.0<jupyter_output><empty_output><jupyter_text>BERTのモデルPyTorch-Transformersには、様々な訓練済みのモデルを扱うクラスが用意されています。  今回は、最も基本的なモデルである`BertModel`の中身を確認します。<jupyter_code>import torch
from transformers import BertModel

bert_model = BertModel.from_pretrained('bert-base-uncased')  # 訓練済みパラメータの読み込み
print(bert_model)<jupyter_output><empty_output><jupyter_text>BERTの設定`BertConfig`クラスを使って、モデルの設定を確認しましょう。<jupyter_code>from transformers import BertConfig

config = BertConfig.from_pretrained("bert-base-uncased")
print(config)<jupyter_output><empty_output>
{'fraction_non_alphanumeric': 0.09987357774968394, 'fraction_numerical': 0.01643489254108723, 'mean_word_length': 15.16326530612245, 'pattern_counts': {'":': 0, '<': 13, '<?xml version=': 0, '>': 13, 'https://': 0, 'lorem ipsum': 0, 'www.': 0, 'xml': 0}, 'pii_count': 0, 'substrings_counts': 0, 'word_list_counts': {'cursed_substrings.json': 0, 'profanity_word_list.json': 0, 'sexual_word_list.json': 0, 'zh_pornsignals.json': 0}}
{'chain_length': '3', 'dir': 'jupyter-structured-clean-dedup', 'id': '575100', 'license': 'MIT', 'n_tokens_mistral': 429, 'n_tokens_neox': 403, 'n_words': 26, 'path': 'section_3/01_bert_model.ipynb', 'repo_name': 'derwind/bert_nlp', 'size': '791'}