自然言語処理

AI・機械学習

【論文解説】Open Domain Question Answering 『RAG』を理解する

今回はOpen Domain Question Answeringの第三弾としてFacebookから提案された『RAG(Retrieval-Augmented Generation)』を紹介したいと思います。 第一弾は『ORQA』、...
AI・機械学習

活性化関数GELUを理解する

GELU(Gaussian Error Linear Units)は、OpenAI GPTやBERTで使われている活性化関数です。 BERTの論文で出てきても、「何かしらの活性化関数を使ってるんだなー」、とか「関数形だけ確認しておこ...
学習

自然言語処理の効率的な勉強方法 – 最短で深く理解するために

「自然言語処理を勉強したいけど、何から勉強して良いかわからない。」「おすすめされている本を読んだけど、難しすぎて読むのをやめてしまった。」「基礎からしっかりと理解したいけど、基礎的な勉強に時間を使い過ぎたくない」 上記のような方は...
AI・機械学習

ERNIE(Enhanced Representation through Knowledge Integration)を理解する

今回はBERTの改良版であるERNIEの論文を読みたので解説したいと思います。 これとは同時期に別のERNIE(Enhanced Language Representation with Informative Entiti...
AI・機械学習

XLNetを理解する

今回はBERTを超えたというXLNetの論文を見ていきたいと思います。 BERTでは事前学習に“Masked LM”による双方向TransformerおよびNext Sentence Predictionという仕組みを導入し、大成功...
AI・機械学習

BERTを理解する

今回は自然言語処理で一つのブレイクスルーとなったBERTについて解説したいと思います。 現時点で、BERTは極めて重要なモデルですので是非しっかり理解していただければと思います。 もちろん新しい仕組みはありますが、基本的には今...
AI・機械学習

【論文解説】OpenAI 「GPT」を理解する

今回はOpenAIが提案するOpenAI 「GPT」を解説したいと思います。 なお、現在ではGPT2、GPT3というのがありますので、そちらが気になる方は以下の記事をご参照ください。 ただし、GPT2、...
AI・機械学習

ULMFiTを理解する

前回、事前学習-ファインチューニングに関する記事を書いたので、次はその発展形ともいえるUniversal Language Model Fine-tuning(ULMFiT)について説明していきたいと思います。 事前学習-ファインチ...
データ分析実践

【データ分析実践】口コミを使ったキャンプ場に関する分析(事前学習-ファインチューニング実装編)

以下の投稿では、事前学習-ファインチューニングについて解説しました。この考え方は非常に重要なので一度簡単なモデルを使って実装してみたいと思います。 事前学習-ファインチューニングとは 事前学習とは簡単に言うと、特定...
AI・機械学習

事前学習 – ファインチューニングを理解する

今回は「事前学習(pre-training) - ファインチューニング(fine-tuning)」を説明したいと思います。 これは、非常に有効な手段で、 今では一般的な手法となっていますので、以下の論文を参考に説明していきたいと思い...
タイトルとURLをコピーしました