BERTの仕組み
BERTはどのような仕組みで機能しているのでしょうか。
BERTに入力するためにトークン化する
トークン
トークンとは、あるルールに則り分割された文の構成要素のことです。BERTへの入力を可能にするためには文章を単語レベルに細かく分ける必要があります。ただし、文章を細かく分けたとしてもBERTのようなニューラルネットワークに受け入れることのできる単語の総数は限られており、このときに受け入れられない単語である未知語をできる限り少なくするように工夫する必要があります。単語レベルのトークンを作るときは、MeCabやSudachi、Jumanなどの形態素解析ツールを使用します。
分散表現
分散表現とは、トークンをBERTなどのニューラル言語モデルに入力するために数値化することです。トークンのままだと文字のため、モデル内での数値計算ができません。そのため、分散表現による数値変換が必要となります。
行列表現によって表すことができ、語彙の大きさNとベクトルの次元数Dの積によって表現されます。
Word2VecというPythonのライブラリは、分散表現をするツールの代表例です。
SentencePiece
文章の分割手法の一つであり、サブワードという単位によってトークンを生成します。サブワードとは、単語をさらに分解した部分文字列であり、特に未知語に値する可能性の高い低頻度で出現する単語に対して行われます。SentencePieceによって分けられた文章はBERTへの入力の効率を大幅に高める重要な機能となっています。
Byte Pair Encoding
SentencePieceを行う際に用いられているアルゴリズムがByte Pair Encodingです。日本語ではバイト対符号化と呼ばれ、データ圧縮のやり方の一つになります。このアルゴリズムの特性は、2つのワードを1つのワードに連結するところでありこの性質によってサブワードを統合することが可能になります。
AttentionとTransFormer Encoderについて
Multi-head Attention
まずAttentionとは、複数個ある入力の中から、どこを注目すべきか学習する仕組みである。
このモジュールではscaled dot-product attentionが最もよく使われるが、原理的には他のタイプのアテンション機構に置き換えることができることに注意してください。
【論文】Attention Is All You Need )
scaled dot-product attention
【論文】Attention Is All You Need )
スケールドドットプロダクトアテンションは、ドットプロダクトがスケールダウンされたアテンション機構です。
Q,Kの内積を求め、標準化して、データフレーム中、条件に一致する場合にだけ値を変更、その後ソフトマックス関数の出力結果と、Vとの内積を求めます。
Residual Connection
Residual Connectionとは、日本語に訳すと「残差接続」といい、学習時に逆伝播しやすくするのと、前の情報を忘れないようにする目的のものです。
Residual Connectionは主に消失勾配の問題を軽減するのに役立つ。バックプロパゲーションの間、信号は活性化関数の微分によって乗算される。ReLUの場合、約半分のケースで勾配がゼロになることを意味する。Residual Connectionがなければ、バックプロパゲーション中に学習信号の大部分が失われてしまう。
Residual Connectionのもう一つの効果は、情報がTransformer層のスタックにローカルに留まることである。自己注意のメカニズムは、ネットワーク内の任意の情報の流れを可能にし、その結果、入力トークンを任意に並べ替えることができる。しかし、Residual Connectionは、元の状態が何であったかを復元させる。
Residual Connection/Papers With Code )
層正規化（Layer Nomalization）
層正規化は代表的な正規化層の１つであるバッチ正規化を改良したもので、Transformerモデルの注目により広く活用されるようになりました。
Layer Nomalization/Papers With Code )
FFN（Feedforward Network）
FFNは日本語では「順伝播型ニューラルネットワーク」といいます。GELU関数の後に、Residual Connectionと層正規化を適用して、Encoder出力が生成されます。
Feedforward Network/Neural Networks )
BERTの学習
BERT の学習には事前学習 とファインチューニング と呼ばれる2つの過程があります。事前学習 とファインチューニング について詳しく見ていきましょう。
事前学習とは？
事前学習 とは、深層学習の精度を改善する手法です。
しかし、BERTの事前学習で用いるデータは生の文章データのみです。
ラベルなしデータを用いるメリットは、比較的容易に大量のデータを収集できることです。
そこでBERTではMasked Language Model とNext Sentence Prediction という２つの方法を組み合わせて大量の文章データから学習を行っています。
Masked Language Model
Masked Language Model では、BERT でテキストの一部を[MASK]という別の単語で置き換えたテキストを入力します。
BERT は、ある単語を周りの単語から予測するというタスクを用いて、単語の入出力関係を学習を行っています。
例えば、「私が習っているスポーツは野球で、いつかメジャーリーグでプレイしたい。」の「野球」という単語が[MASK]で置き換えられた場合、文章中の「スポーツ」、「メジャーリーグ」、「プレイ」などの単語から[MASK]によって置き換えらえた単語が元々の「野球」でありことを予想します。」
具体的には、まずランダムに選ばれた15%のトークンを[MASK]という特殊トークンに置き換えます。そして、置き換えられた文章をBERTに入力し、[MASK]の位置に元々あったトークンを予測するというタスクを用いて学習を行います。
つまり、[MASK]に置き換えられたトークンを、[MASK]を含む文章に対するラベルとして扱うことで、その入出力関係を学習します。
Next Sentence Prediction
Next Sentence Prediction では、単語単位での学習はできますが、文単位での学習はできません。Next Sentence Prediction という手法を用います。
Next Sentence Prediction は、2つの文章の関係性について予測するタスクです。BERT には常に2つの文のペアが入力されます。
この時、2つの文のうち、後の文が50%の確率で前の文と無関係な文に置き換えられます。
例えば、
「女は店に[MASK]。猿が[MASK]から落ちた。 → NotNext（不連続）
具体的には、2つの文を[SEP]というトークンで分けます。
ファインチューニングとは？
BERT の学習済みモデルは、そのまま使うことは珍しく、一般に、解きたいタスクに応じて特化するようにします。
ファインチューニング では、比較的少数のラベル付きデータを用いて、BERT を特定のタスクに特化するように学習します。
BERT で個別のタスクを解くためには、タスクの内容に応じてBERTに新しい分類機などを接続するなどして、タスクに特化したモデルを作ります。つまり、言語タスクにおいて、BERT は特徴抽出機のような働きをします。
ファインチューニング を行うときにはモデルの初期値として、事前学習で得られたパラメータを用い、新たに加えられた分類器のパラメータにはランダムな値を与えます。そして、ラベル付きデータを用いてBERT と分類器の両方のパラメータを学習します。
このように、ファインチューニングの際事前学習 で得られたパラメータを初期値として用いることで比較的少数の学習データでも高い性能のモデルを得ることができます。
