AI・機械学習 事前学習-ファインチューニングをもう少し理解する
こちらの記事で事前学習-ファインチューニングについて説明しましたが、もう少し深く理解したいと思い、論文を読みましたので紹介したいと思います。
今回読んだ論文は以下の論文で、自然言語処理における転移学習(Transfer ...
2020-04
AI・機械学習 
AI・機械学習 【論文解説】OpenAI 「GPT」を理解する
今回はOpenAIが提案するOpenAI 「GPT」を解説したいと思います。
なお、現在ではGPT2、GPT3というのがありますので、そちらが気になる方は以下の記事をご参照ください。
ただし、GPT2、...
AI・機械学習 ULMFiTを理解する
前回、事前学習-ファインチューニングに関する記事を書いたので、次はその発展形ともいえるUniversal Language Model Fine-tuning(ULMFiT)について説明していきたいと思います。
事前学習-ファインチ...
データ分析実践 【データ分析実践】口コミを使ったキャンプ場に関する分析(事前学習-ファインチューニング実装編)
以下の投稿では、事前学習-ファインチューニングについて解説しました。この考え方は非常に重要なので一度簡単なモデルを使って実装してみたいと思います。
事前学習-ファインチューニングとは
事前学習とは簡単に言うと、特定...
AI・機械学習 事前学習 – ファインチューニングを理解する
今回は「事前学習(pre-training) - ファインチューニング(fine-tuning)」を説明したいと思います。
以下の2015年の論文を参考に説明していきます。
『Semi-supervised Sequence ...
AI・機械学習 Transformer-XLを理解する
今回は、Transformerの改良版であるTransformer-XLの論文を読んでみたので、詳しく見ていきたいと思います。
Transformer-XLは“Transformer Extra Large”の略で、通常のTrans...
データ分析実践 【データ分析実践】口コミを使ったキャンプ場に関する分析8 ~Transformer実装編 ~
今回はTransformerで口コミの評価をしたいと思います。
Transformerは、RNNやCNNを使わないことから、高速に計算できるモデルとして、BERTやXLNetなどでも使われている重要な仕組みです。
理論的な解説...
AI・機械学習 【データ分析実践】RNNを使って文章生成を実装してみる
では、今回は今までの星の数当てではなく、再帰的ニューラルネットワーク(RNN)を使って、文章生成をやってみたいと思います。
こちらのTensorflowのチュートリアルを参考にしています。
RNNについては、こちらをご参照くだ...
AI・機械学習 【論文解説】Transformerを理解する
では、今回は2017年に論文「Attention Is All You Need」で提案された“Transformer”について詳しく解説したいと思います。
Transformerとは自然言語処理において、現時点ではもっと...