AI・機械学習 【論文解説】ELECTRAを理解する 今回は自然言語処理のブレイクスルーとなったBERTの事前学習方法を改良し、GeneratorとDiscriminatorを使った事前学習することで、BERTを大きく上回る精度を出したELECTRAの解説をしたいと思います。 ELEC... 2021.01.13 AI・機械学習自然言語処理
AI・機械学習 ビームサーチ(Beam Search)を理解する 今回は、文章生成やSeq2Seqモデルを使った機械翻訳などでよく使われるビームサーチ(Beam Search)について解説したいと思います。 より理解しやすくするために、以下の3つを手法を順番に説明していきます。 Greedy... 2020.12.16 AI・機械学習自然言語処理
AI・機械学習 【論文解説】Longformerを理解する では、今回は『Longformer: The Long-Document Transformer』について解説したいと思います。 LongformerもReformerやSparse Transformerと同じで、self-att... 2020.12.14 AI・機械学習自然言語処理
AI・機械学習 【論文解説】OpenAI 「GPT-3」を理解する 今回は、LINEによる汎用的な超巨大言語モデルの開発の話題もあり、GPT-2以上に話題になっているOpenAI GPT-3について解説したいと思います。 結構長い論文ですが、論文の最後の方の内容も非常に興味深い内容になっている論文で... 2020.12.07 AI・機械学習自然言語処理
AI・機械学習 条件付き確率場(Conditional Random Fields; CRF)を使った品詞タグ付け 今回は“条件付き確率場(Conditional Random Fields; CRF)”を使った品詞タグ付けについて解説したいと思います。 条件付き確率場は、例えば単語列xが与えられたときに、品詞ラベル列yなどの系列を予測するための... 2020.12.02 AI・機械学習自然言語処理
AI・機械学習 固有表現抽出におけるビタビアルゴリズムを理解する 今回は、固有表現抽出などの系列ラベリングを行う上で、重要なアルゴリズムである“ビタビアルゴリズム(Viterbi Algorithm)”を解説したいと思います。 まず、各単語について固有表現かどうかをどのように予測するか、については... 2020.11.13 AI・機械学習自然言語処理
AI・機械学習 【論文解説】OpenAI 「GPT-2」を理解する さて、今回は以前ご紹介したOpenAI GPTの進化版OpenAI GPT2を解説したいと思います。 現時点ではすでにOpenAI GPT-3が開発されていますが、まずはOpenAI GPT-2を理解していきたいと思います。 ... 2020.11.10 AI・機械学習自然言語処理
AI・機械学習 品詞タグ付け(part-of-speech tagging)を理解する – ビタビアルゴリズム 『品詞タグ付け(part-of-speech tagging)を理解する』では、隠れマルコフモデルを使って、単語列xが与えられたときに品詞ラベル列がyとなる確率の求め方を解説しました。 まだ、このままでは各単語列と品詞ラベル... 2020.10.30 AI・機械学習自然言語処理
AI・機械学習 【論文解説】Don’t Stop Pretraining – 追加で事前学習を行う効果について 今回は、RoBERTaを使って、さらなる事前学習することによる効果を分析している“Don't Stop Pretraining: Adapt Language Models to Domain and Tasks”という論文を解説したいと... 2020.10.12 AI・機械学習自然言語処理
AI・機械学習 【論文解説】DistilBERTを理解する 今回は、BERTをDistillation(蒸留)という手法を使って軽量化したDistilBERTについて、こちらの原論文をもとに解説したいと思います。 DistilBERTとは DistilBERT(a Di... 2020.10.06 AI・機械学習自然言語処理