自然言語処理

AI・機械学習

社会人がAIを学ぶためのスクールをご紹介

人工知能・AI・データサイエンスといったブームはまだ続いており、今後もホットかつ重要な分野となりそうです。 これらの分野を学ぶことは社内でのキャリアアップや転職、独立などにおいて非常に役立つことは間違いありません。 しかしなが...
AI・機械学習

【解説+実装】Sparsemax関数を理解する

今回は、テーブルデータの処理で良好な結果を残しているTabNetなどで使われているSparsemax関数について解説したいと思います。 Sparsemaxは複数ラベルのある分類問題に通常使われるSoftmax関数を変形したものです。...
AI・機械学習

【論文解説】DialoGPTを理解する

さて、今回はMicrosoftから提案されたDialoGPTを解説したいと思います。 とは言っても、モデル構造自体はOpenAIによるGPTの仕組みと変わりませんので、モデルの解説はほとんどありません。 ですので、DialoG...
AI・機械学習

【論文解説】Open Domain Question Answering 『RAG』を理解する

今回はOpen Domain Question Answeringの第三弾としてFacebookから提案された『RAG(Retrieval-Augmented Generation)』を紹介したいと思います。 第一弾は『ORQA』、...
AI・機械学習

【論文解説】OpenAI 『DALL-E』を理解する

さてさて、以前OpenAIの『DALL-E』のブログをもとに、モデルを想像しながら解説しましたが、もう既に論文が出ていますので、今回はきちんと論文に沿って解説をしていきたいと思います。 『DALL-E』は文章を与えると、...
AI・機械学習

Gumbel-Max Trick(ガンベル最大トリック)を理解する

さて、今回はカテゴリカル分布から効率的にサンプリングする方法であるGumbel-Max Trick(ガンベル最大トリック)を解説したいと思います。 Gumbel-Max Trickを使うと、Deep Learningなどでよくあるよ...
AI・機械学習

【論文解説】自然言語処理と画像処理の融合 – OpenAI 『CLIP』を理解する(1)

今回はOpenAIの『CLIP(Contrastive Language-Image Pre-training)』を解説したいと思います。 CLIPは画像の分類に利用されるモデルですが、今までのモデルと何が違うかというと、自然言語処...
AI・機械学習

【論文解説】BARTを理解する

今回は、『BART(Bidirectional Auto-Regressive Transformer)』を解説したいと思います。 簡単に言うと、BARTはBERTをSequence-to-Sequence(Seq2Seq)の形にし...
AI・機械学習

【論文解説】Open Domain Question Answering 「REALM」を理解する

前回、オープン・ドメインの質疑応答タスクに対して、BERTを全面的に採用し、End-to-Endで学習することができるORQA(Open Retrieval Question Answering)を紹介しました。 今回は...
AI・機械学習

【論文解説】Open Domain Question Answering 「ORQA」を理解する

今回は、ドメインが指定されていない質疑応答タスクであるOpen Domain Question AnsweringをEnd-to-Endで学習するモデル「ORQA(Open-Retrieval Question Answering)」を解...
タイトルとURLをコピーしました