AI・機械学習 【論文解説】BARTを理解する
今回は、『BART(Bidirectional Auto-Regressive Transformer)』を解説したいと思います。
簡単に言うと、BARTはBERTをSequence-to-Sequence(Seq2Seq)の形にし...
自然言語処理
AI・機械学習 
AI・機械学習 【論文解説】Open Domain Question Answering 「REALM」を理解する
前回、オープン・ドメインの質疑応答タスクに対して、BERTを全面的に採用し、End-to-Endで学習することができるORQA(Open Retrieval Question Answering)を紹介しました。
今回は...
AI・機械学習 【論文解説】Open Domain Question Answering 「ORQA」を理解する
今回は、ドメインが指定されていない質疑応答タスクであるOpen Domain Question AnsweringをEnd-to-Endで学習するモデル「ORQA(Open-Retrieval Question Answering)」を解...
AI・機械学習 文章から画像を生成するOpenAI 「DALL-E」について解説
2021年1月5日にOpenAIのサイトに「DALL·E: Creating Images from Text」という記事が公開されました。
OpenAIは最近、自然言語処理技術を使って非常に自然なニュースを生成することができるGP...
AI・機械学習 【論文解説】Sparse Transformerを理解する
さて、今回はOpenAIから提案された、attentionを効率化することで長い系列を取り扱うことを可能にしたSparse Transformerの論文について解説したいと思います。
この仕組みはGPT-3やDALL-Eなどでも使わ...
AI・機械学習 【論文解説】ELECTRAを理解する
今回は自然言語処理のブレイクスルーとなったBERTの事前学習方法を改良し、GeneratorとDiscriminatorを使った事前学習することで、BERTを大きく上回る精度を出したELECTRAの解説をしたいと思います。
ELEC...
AI・機械学習 ビームサーチ(Beam Search)を理解する
今回は、文章生成やSeq2Seqモデルを使った機械翻訳などでよく使われるビームサーチ(Beam Search)について解説したいと思います。
より理解しやすくするために、以下の3つを手法を順番に説明していきます。
Greedy...
AI・機械学習 【論文解説】Longformerを理解する
では、今回は『Longformer: The Long-Document Transformer』について解説したいと思います。
LongformerもReformerやSparse Transformerと同じで、self-att...
AI・機械学習 【論文解説】OpenAI 「GPT-3」を理解する
今回は、LINEによる汎用的な超巨大言語モデルの開発の話題もあり、GPT-2以上に話題になっているOpenAI GPT-3について解説したいと思います。
結構長い論文ですが、論文の最後の方の内容も非常に興味深い内容になっている論文で...
AI・機械学習 条件付き確率場(Conditional Random Fields; CRF)を使った品詞タグ付け
今回は“条件付き確率場(Conditional Random Fields; CRF)”を使った品詞タグ付けについて解説したいと思います。
条件付き確率場は、例えば単語列xが与えられたときに、品詞ラベル列yなどの系列を予測するための...