BERT

AI・機械学習

【論文解説】DistilBERTを理解する

今回は、BERTをDitillation(蒸留)という手法を使って軽量化したDistilBERTについて、こちらの原論文をもとに解説したいと思います。 DistilBERTとは DistilBERT(a Distill...
AI・機械学習

活性化関数GELUを理解する

GELU(Gaussian Error Linear Units)は、OpenAI GPTやBERTで使われている活性化関数です。 BERTの論文で出てきても、「何かしらの活性化関数を使ってるんだなー」、とか「関数形だけ確認しておこ...
AI・機械学習

XLNetを理解する

今回はBERTを超えたというXLNetの論文を見ていきたいと思います。 BERTでは事前学習に“Masked LM”による双方向TransformerおよびNext Sentence Predictionという仕組みを導入し、大成功...
AI・機械学習

BERTを理解する

今回は自然言語処理で一つのブレイクスルーとなったBERTについて解説したいと思います。 現時点で、BERTは極めて重要なモデルですので是非しっかり理解していただければと思います。 もちろん新しい仕組みはありますが、基本的には今...
タイトルとURLをコピーしました