はじめに
AIの機械学習革命が起きたTransformerモデルの登場で学習効率が大幅に削減された。しかし学ぼうとするがほかのサイトの内容が細かすぎてイメージできないという方に概要からつかんでもらいたいと思って記事にしました。そんな革命児Transformerについてわかりやすく説明したいと思います。
Transformerとは
まずTransformerとはどうゆうものかの説明をしたいです。
Transformerは、自然言語処理（NLP）の分野で革命を起こした深層学習モデルの一つです。その影響は今日まで広がっています。Transformerは、RNNやLSTM（旧型モデル）のように時間的な再帰を必要とせず、Attentionメカニズムだけを用いて全ての計算を行います。これにより、長距離の依存関係を直接モデル化することが可能となり、計算効率が大幅に向上しました。
簡単にTransformerは、今まで難しく考えていたものがシンプルに考えてみたら意外とうまくいってこれまでのやり方が必要なくなってしまったものです。
例えば目的地までの徒歩と自転車の関係で、徒歩の負担を減らそうと靴だったり服を軽量化したりして目的地まで効率的に行こう！と研究していたのが突然自転車が現れて目的地までの効率が大幅に上がったイメージです。
Transformerの登場背景
自然言語処理の分野では、長らくRNN（Recurrent Neural Network）やLSTM（Long Short-Term Memory）などの再帰型ネットワークやCNN(Convolutional Neural Network)畳み込みニューラルネットワークが主流でした。これらのモデルでの再帰型ネットワークでは、系列データを逐次的に処理することで、文脈を考慮した予測を行うことができます。しかし、これらのモデルは長い系列データを扱う際には、勾配消失や勾配爆発といった問題が発生しやすく、また、長距離の依存関係を捉えるのが難しいという課題がありました。
RNN（Recurrent Neural Network）
RNNは系列データの処理に適しており、前の時刻から得られた中間出力を隠れ状態として次の時刻の処理に使うことで、過去の入力を考慮したデータの処理が可能になります。しかし、RNNは長い系列データを扱う際には、勾配消失や勾配爆発といった問題が発生しやすく、また、長距離の依存関係を捉えるのが難しいという課題がありました。
LSTM（Long Short-Term Memory)
深層学習（ディープラーニング）の分野で用いられる人工回帰型ニューラルネットワークの一種です。LSTMは、RNN（Recurrent Neural Network）の一種で、通常のRNNが情報をそのまま次に引き継ぐのに対し、LSTMでは中間層を噛ませて次に渡しています。これにより、時間的な流れを持つデータや時系列データを学習できるようになります。特に、LSTMはRNNの弱点である「勾配消失」や「勾配爆発」を克服しています。
Transformerとの違い
主な違いは、RNNやLSTMが時系列データの学習に特化しているのに対し、TransformerはAttention機構を用いて各ノード間の関係性を直接考慮することができ、さらにポジショナル・エンコーディングによりRNNの限界を超えることができる点です。
Transformerの登場
このような課題を解決するために、2017年にGoogleが「Attention is all you need」という論文で初めてTransformerを発表しました。Transformerは、RNNやLSTMのように時間的な再帰を必要とせず、Attentionメカニズムだけを用いて全ての計算を行います。これにより、長距離の依存関係を直接モデル化することが可能となり、計算効率が大幅に向上しました。
Attention is all you needの解説サイトURL：【論文】”Attention is all you need”の解説 (acceluniverse.com)
Transformerの影響
Transformerの登場以降、自然言語処理の分野は大きく変わりました。特に、BERTやGPTなどの大規模言語モデルの基盤となり、自然言語処理だけでなく、画像認識や音声処理など、多くの分野で応用されています。これらの理由から、Transformerは深層学習の革命児とも言える存在となっています。
Transformerの詳細
Transformerは、系列データを逐次的に処理する必要がないという特徴があります。これにより、Transformerでは回帰型ニューラルネットワークよりもはるかに多くの並列化が可能になり、トレーニング時間が短縮されます。
また、Transformerはその後、BERTやGPTなどの大規模言語モデルの基盤となり、自然言語処理だけでなく、画像認識や音声合成など、何に適用しても本当に軒並み最高性能を叩き出すことから、Transformerは深層学習界に革命をもたらしたと言えます。
Attention機構とは
TransformerではこのAttention機構が重要な役割を果たしていてほかのサイトではその内容を詳しく説明されています。詳しく知りたい方は、ほかのサイトへ調べてみる事をおススメします。
基本的な考え方
Attentionモデルは、「特定の対象に感覚や意識を集中させることで、不必要な情報を排除、必要な情報を選択し、限りある知的資源を効果的に配分するもの」という位置付けになっています。
動作の流れ
入力されたデータをベクトル化という変換（エンコード）をして共通項を見つけて重み付けという重要そうなものを積み上げて計算し確率化していきます、その後有力な情報を抽出し情報をもとに出力を作り、その出力をデータに変換（デコード）し出力します。
効果
これによって系列データや画像認識等の立体的なものや長い文脈の回答の精度も高くなりました。
おわりに
AIの機械学習における革命Transformerについて概要をつかんでいただけたでしょうか？
詳しく知りたい方には適していませんが一度よくわからなかった人にはここで概要を掴んでもう一度詳しく調べてみるといいかもしれません。
入力から出力までのイメージを持つことができれば中身もイメージできてくると思います。そうゆう風になるように書いてみました。
読んでいただきありがとうございました。
