AI・機械学習 OpenAI の ChatGPT がセンター試験の英語を受けたら何点ぐらい取れるか試してみた
2022年11月にOpenAIから“ChatGPT: Optimizing Language Models for Dialogue”というタイトルでChatGPTのアプリケーションが公開されました。
かなり話題になっているので知っ...
自然言語処理
AI・機械学習 
AI・機械学習 ドラクエ画像でOpenAI 『CLIP』を使う
さて今回は、以前こちらの記事で紹介しているOpenAIの『CLIP』を使って遊んでみたいと思います。
ここでは、CLIPの詳細については全く触れないので、興味がある方は以下の記事を参考にしてください。
CLIP(C...
AI・機械学習 【論文解説】DialoGPTを理解する
さて、今回はMicrosoftから提案されたDialoGPTを解説したいと思います。
とは言っても、モデル構造自体はOpenAIによるGPTの仕組みと変わりませんので、モデルの解説はほとんどありません。
ですので、DialoG...
AI・機械学習 【論文解説】Open Domain Question Answering 『RAG』を理解する
今回はOpen Domain Question Answeringの第三弾としてFacebookから提案された『RAG(Retrieval-Augmented Generation)』を紹介したいと思います。
第一弾は『ORQA』、...
AI・機械学習 活性化関数GELUを理解する
GELU(Gaussian Error Linear Units)は、OpenAI GPTやBERTで使われている活性化関数(activation)です。
BERTの論文で出てきても、「何かしらの活性化関数を使ってるんだなー」、とか...
学習 自然言語処理の効率的な勉強方法 – 最短で深く理解するために
「自然言語処理を勉強したいけど、何から勉強して良いかわからない。」「おすすめされている本を読んだけど、難しすぎて読むのをやめてしまった。」「基礎からしっかりと理解したいけど、基礎的な勉強に時間を使い過ぎたくない」
上記のような方は...
AI・機械学習 ERNIE(Enhanced Representation through Knowledge Integration)を理解する
今回はBERTの改良版であるERNIEの論文を読みたので解説したいと思います。
これとは同時期に別のERNIE(Enhanced Language Representation with Informative Entiti...
AI・機械学習 XLNetを理解する
今回はBERTを超えたというXLNetの論文を見ていきたいと思います。
BERTでは事前学習に“Masked LM”による双方向TransformerおよびNext Sentence Predictionという仕組みを導入し、大成功...
AI・機械学習 【論文解説】BERTを理解する
今回は自然言語処理で一つのブレイクスルーとなったBERTについて解説したいと思います。
現時点で、BERTは極めて重要なモデルですので是非しっかり理解していただければと思います。
もちろん新しい仕組みはありますが、基本的には今...
AI・機械学習 【論文解説】OpenAI 「GPT」を理解する
今回はOpenAIが提案するOpenAI 「GPT」を解説したいと思います。
なお、現在ではGPT2、GPT3というのがありますので、そちらが気になる方は以下の記事をご参照ください。
ただし、GPT2、...