AI・機械学習 【論文解説】OpenAI 『DALL-E』を理解する
さてさて、以前OpenAIの『DALL-E』のブログをもとに、モデルを想像しながら解説しましたが、もう既に論文が出ていますので、今回はきちんと論文に沿って解説をしていきたいと思います。
『DALL-E』は文章を与えると、...
画像認識
AI・機械学習 
AI・機械学習 【論文解説+実装】VQ-VAEを理解する
今回は、VQ-VAE(Vector Quantised-Variational AutoEncoder)を解説したいと思います。
VQ-VAEもVAE(Variational AutoEncoder)と同じで潜在変数を使った画像など...
AI・機械学習 Variational Auto-Encoder(VAE)を理解する
今回は、2014年に提案された画像生成モデル“Variational Auto-Encoder(VAE)”について解説していきたいと思います。
(新しく勉強した分野なので、おかしなところがあればご指摘ください)
原論文はこちら...
AI・機械学習 Gumbel-Max Trick(ガンベル最大トリック)を理解する
さて、今回はカテゴリカル分布から効率的にサンプリングする方法であるGumbel-Max Trick(ガンベル最大トリック)を解説したいと思います。
Gumbel-Max Trickを使うと、Deep Learningなどでよくあるよ...
AI・機械学習 【論文解説】自然言語処理と画像処理の融合 – OpenAI 『CLIP』を理解する(1)
今回はOpenAIの『CLIP(Contrastive Language-Image Pre-training)』を解説したいと思います。
CLIPは画像の分類に利用されるモデルですが、今までのモデルと何が違うかというと、自然言語処...
AI・機械学習 文章から画像を生成するOpenAI 「DALL-E」について解説
2021年1月5日にOpenAIのサイトに「DALL·E: Creating Images from Text」という記事が公開されました。
OpenAIは最近、自然言語処理技術を使って非常に自然なニュースを生成することができるGP...
AI・機械学習 【論文解説】Sparse Transformerを理解する
さて、今回はOpenAIから提案された、attentionを効率化することで長い系列を取り扱うことを可能にしたSparse Transformerの論文について解説したいと思います。
この仕組みはGPT-3やDALL-Eなどでも使わ...
AI・機械学習 【論文解説】Image GPTを理解する
このサイトでは基本的に自然言語処理の論文等をご紹介してきましたが、今回はOpenAIが発表した画像生成モデル『Image GPT』の論文を解説したいと思います。
こちらはOpenAIの記事で紹介されている画像ですが、画像の上半分だけ...
AI・機械学習 活性化関数GELUを理解する
GELU(Gaussian Error Linear Units)は、OpenAI GPTやBERTで使われている活性化関数(activation)です。
BERTの論文で出てきても、「何かしらの活性化関数を使ってるんだなー」、とか...