AI・機械学習 ERNIE(Enhanced Language Representation with Informative Entities)を理解する
さて、今回はBERTの改良版であるERNIEについて解説したいと思います。
ERNIEというのは2種類あり、こちらが今回ご紹介する論文“ERNIE: Enhanced Language RepresentatioN with Inf...
自然言語処理
AI・機械学習 
AI・機械学習 ERNIE(Enhanced Representation through Knowledge Integration)を理解する
今回はBERTの改良版であるERNIEの論文を読みたので解説したいと思います。
これとは同時期に別のERNIE(Enhanced Language Representation with Informative Entiti...
AI・機械学習 RoBERTaを理解する
今回は、BERTの仕組みはそのままで、ハイパーパラメータの調整や学習用のデータ量を増やすことによって、BERTの精度を大幅に上回ることに成功したRoBERTa(Robustly optimized BERT approach)の論文を解説...
AI・機械学習 XLNetを理解する
今回はBERTを超えたというXLNetの論文を見ていきたいと思います。
BERTでは事前学習に“Masked LM”による双方向TransformerおよびNext Sentence Predictionという仕組みを導入し、大成功...
AI・機械学習 【論文解説】BERTを理解する
今回は自然言語処理で一つのブレイクスルーとなったBERTについて解説したいと思います。
現時点で、BERTは極めて重要なモデルですので是非しっかり理解していただければと思います。
もちろん新しい仕組みはありますが、基本的には今...
AI・機械学習 事前学習-ファインチューニングをもう少し理解する
こちらの記事で事前学習-ファインチューニングについて説明しましたが、もう少し深く理解したいと思い、論文を読みましたので紹介したいと思います。
今回読んだ論文は以下の論文で、自然言語処理における転移学習(Transfer ...
AI・機械学習 【論文解説】OpenAI 「GPT」を理解する
今回はOpenAIが提案するOpenAI 「GPT」を解説したいと思います。
なお、現在ではGPT2、GPT3というのがありますので、そちらが気になる方は以下の記事をご参照ください。
ただし、GPT2、...
AI・機械学習 ULMFiTを理解する
前回、事前学習-ファインチューニングに関する記事を書いたので、次はその発展形ともいえるUniversal Language Model Fine-tuning(ULMFiT)について説明していきたいと思います。
事前学習-ファインチ...
AI・機械学習 事前学習 – ファインチューニングを理解する
今回は「事前学習(pre-training) - ファインチューニング(fine-tuning)」を説明したいと思います。
以下の2015年の論文を参考に説明していきます。
『Semi-supervised Sequence ...
AI・機械学習 Transformer-XLを理解する
今回は、Transformerの改良版であるTransformer-XLの論文を読んでみたので、詳しく見ていきたいと思います。
Transformer-XLは“Transformer Extra Large”の略で、通常のTrans...