NLP

AI・機械学習

【論文解説】Open Domain Question Answering 『RAG』を理解する

今回はOpen Domain Question Answeringの第三弾としてFacebookから提案された『RAG(Retrieval-Augmented Generation)』を紹介したいと思います。 第一弾は『ORQA』、...
AI・機械学習

【論文解説】自然言語処理と画像処理の融合 – OpenAI 『CLIP』を理解する(1)

今回はOpenAIの『CLIP(Contrastive Language-Image Pre-training)』を解説したいと思います。 CLIPは画像の分類に利用されるモデルですが、今までのモデルと何が違うかというと、自然言語処...
AI・機械学習

【論文解説】Open Domain Question Answering 「REALM」を理解する

前回、オープン・ドメインの質疑応答タスクに対して、BERTを全面的に採用し、End-to-Endで学習することができるORQA(Open Retrieval Question Answering)を紹介しました。 今回は...
AI・機械学習

文章から画像を生成するOpenAI 「DALL-E」について解説

2021年1月5日にOpenAIのサイトに「DALL·E: Creating Images from Text」という記事が公開されました。 OpenAIは最近、自然言語処理技術を使って非常に自然なニュースを生成することができるGP...
AI・機械学習

【論文解説】Sparse Transformerを理解する

さて、今回はOpenAIから提案された、attentionを効率化することで長い系列を取り扱うことを可能にしたSparse Transformerの論文について解説したいと思います。 この仕組みはGPT-3やDALL-Eなどでも使わ...
AI・機械学習

【論文解説】Longformerを理解する

では、今回は『Longformer: The Long-Document Transformer』について解説したいと思います。 LongformerもReformerやSparse Transformerと同じで、self-att...
AI・機械学習

【論文解説】OpenAI 「GPT-3」を理解する

今回は、LINEによる汎用的な超巨大言語モデルの開発の話題もあり、GPT-2以上に話題になっているOpenAI GPT-3について解説したいと思います。 結構長い論文ですが、論文の最後の方の内容も非常に興味深い内容になっている論文で...
AI・機械学習

【論文解説】OpenAI 「GPT-2」を理解する

さて、今回は以前ご紹介したOpenAI GPTの進化版OpenAI GPT2を解説したいと思います。 現時点ではすでにOpenAI GPT-3が開発されていますが、まずはOpenAI GPT-2を理解していきたいと思います。 ...
AI・機械学習

品詞タグ付け(part-of-speech tagging)を理解する – ビタビアルゴリズム

『品詞タグ付け(part-of-speech tagging)を理解する』では、隠れマルコフモデルを使って、単語列xが与えられたときに品詞ラベル列がyとなる確率の求め方を解説しました。 まだ、このままでは各単語列と品詞ラベル...
自然言語処理

品詞タグ付け(part-of-speech tagging)を理解する

今回は、自然言語処理で代表的なタスクの一つである“品詞タグ付け(part-of-speech tagging”について解説したいと思います。 以下の本を参考にしています。 言語処理のための機械学習入門 (自然言語処理シリーズ)...
タイトルとURLをコピーしました