AI・機械学習 ULMFiTを理解する
前回、事前学習-ファインチューニングに関する記事を書いたので、次はその発展形ともいえるUniversal Language Model Fine-tuning(ULMFiT)について説明していきたいと思います。
事前学習-ファインチ...
AI・機械学習
AI・機械学習 
AI・機械学習 事前学習 – ファインチューニングを理解する
今回は「事前学習(pre-training) - ファインチューニング(fine-tuning)」を説明したいと思います。
以下の2015年の論文を参考に説明していきます。
『Semi-supervised Sequence ...
AI・機械学習 Transformer-XLを理解する
今回は、Transformerの改良版であるTransformer-XLの論文を読んでみたので、詳しく見ていきたいと思います。
Transformer-XLは“Transformer Extra Large”の略で、通常のTrans...
AI・機械学習 【データ分析実践】RNNを使って文章生成を実装してみる
では、今回は今までの星の数当てではなく、再帰的ニューラルネットワーク(RNN)を使って、文章生成をやってみたいと思います。
こちらのTensorflowのチュートリアルを参考にしています。
RNNについては、こちらをご参照くだ...
AI・機械学習 【論文解説】Transformerを理解する
では、今回は2017年に論文「Attention Is All You Need」で提案された“Transformer”について詳しく解説したいと思います。
Transformerとは自然言語処理において、現時点ではもっと...
AI・機械学習 Attentionメカニズムを理解する
今回は、論文「Neural Machine Translation by Jointly Learning to Align and Translate」で提案され、そこからTransformerやBERTに展開していくきっかけとなったA...
AI・機械学習 再帰的ニューラル・ネットワーク(Recurrent Neural Network; RNN)を理解する
再帰的ニューラル・ネットワーク(RNN)とは
時系列のデータをうまく処理するモデルシンプルなRNNだと勾配消失という問題があり、長期の依存関係をうまく取り扱えないそこでLong Short-Term Memory(LSTM)やGated ...
AI・機械学習 【データ分析実践】口コミを使ったキャンプ場に関する分析7 ~Attentionメカニズム実装編 ~
Attentionメカニズムを使ったセンチメント分析
今回はLong Short-Term Memory(LSTM)にAttentionメカニズムを加えたモデルを作成したいと思います。
Attentionメカニズムについて...
AI・機械学習 Word2Vecを理解する
さて、今日はみんな大好きWord2Vecを解説したいと思います。
Word2Vecの結果を見たり、遊んでみたりするのは、非常に楽しいですので、まずはざっくり概要を解説したいと思います。
Word2Vecとは
Word2V...
AI・機械学習 Bag-of-Wordsを理解する
今回はテキスト分類や文章のセンチメント分析でよく使われるBag-of-Wordsという手法を紹介したいと思います。
Bag-of-Wordsは直観的にわかりやすいモデルで、問題によってはより複雑なモデルと遜色のない精度が出ることもあ...