_3冊目2024/10/13に公開AI自然言語処理techこんにちは投資ロウトです。背景AI開発ができるために自然言語処理について理解を深めていきます。以下の記事のStep2として、「BERT・GPTモデルについての本を読む」3選が書かれているので、そちらをやっていきたいと思います。https://nlpillustration.tech/?p=4419#rtoc-7BERT・RNNの問題点・・・処理を経るにつれて、前方にあるトークンの情報が失われてしまう点。※LSTMでも完全に改善されない・BERTの違う点・・・RNNをベースとしたモデルではあるが、他のトークンの情報を直接参照して処理を行うのが違う。→それぞれのトークンの情報にどの程度の注意(Attention)をするかによって、適応的に決まり、これをAttentionと呼ばれるとのことです。・Attentionを使う利点・・・あるトークンの情報を処理するときに、すべてのトークンの情報を直接用いて出力を計算するため、遠く離れたトークンの情報も適切に考慮することが可能となる。→またAttentionでは、それぞれのトークンに対する出力を独立して計算できるため、並列化の効率が良いとのこと。・BERTに文章を入力するには、先頭に[CLS]、末尾に[SEP]を入れて、間に区切られた文字を入れていく必要があるとのことです。