自然言語処理

AI・機械学習

事前学習 – ファインチューニングを理解する

今回は「事前学習(pre-training) - ファインチューニング(fine-tuning)」を説明したいと思います。 以下の2015年の論文を参考に説明していきます。 『Semi-supervised Sequence ...
AI・機械学習

Transformer-XLを理解する

今回は、Transformerの改良版であるTransformer-XLの論文を読んでみたので、詳しく見ていきたいと思います。 Transformer-XLは“Transformer Extra Large”の略で、通常のTrans...
データ分析実践

【データ分析実践】口コミを使ったキャンプ場に関する分析8 ~Transformer実装編 ~

今回はTransformerで口コミの評価をしたいと思います。 Transformerは、RNNやCNNを使わないことから、高速に計算できるモデルとして、BERTやXLNetなどでも使われている重要な仕組みです。 理論的な解説...
AI・機械学習

【データ分析実践】RNNを使って文章生成を実装してみる

では、今回は今までの星の数当てではなく、再帰的ニューラルネットワーク(RNN)を使って、文章生成をやってみたいと思います。 こちらのTensorflowのチュートリアルを参考にしています。 RNNについては、こちらをご参照くだ...
AI・機械学習

【論文解説】Transformerを理解する

では、今回は2017年に論文「Attention Is All You Need」で提案された“Transformer”について詳しく解説したいと思います。 Transformerとは自然言語処理において、現時点ではもっと...
AI・機械学習

Attentionメカニズムを理解する

今回は、論文「Neural Machine Translation by Jointly Learning to Align and Translate」で提案され、そこからTransformerやBERTに展開していくきっかけとなったA...
AI・機械学習

再帰的ニューラル・ネットワーク(Recurrent Neural Network; RNN)を理解する

再帰的ニューラル・ネットワーク(RNN)とは 時系列のデータをうまく処理するモデルシンプルなRNNだと勾配消失という問題があり、長期の依存関係をうまく取り扱えないそこでLong Short-Term Memory(LSTM)やGated ...
データ分析実践

【データ分析実践】口コミを使ったキャンプ場に関する分析6 ~Convolutional Neural Network(CNN)実装編 ~

では、今回は畳み込みニューラルネットワーク(Convolutional Neural Network; CNN)を使ってみたいと思います。CNNは、主に画像系のディープラーニングで使われることの多いモデルです。 以下の論文を参考にモ...
データ分析実践

【データ分析実践】口コミを使ったキャンプ場に関する分析5 ~埋め込み表現を使ったBag-of-Wordsモデル実装編 ~

今回はまたしてもBag-of-Wordsモデルを使っていきたいと思います。ただ、前回のように単語の出現回数をもとにしたTF-IDFのようなやり方ではなく、前回使ったWord2Vecなどの単語の埋め込み表現を利用したモデルを構築したいと思い...
AI・機械学習

Word2Vecを理解する

さて、今日はみんな大好きWord2Vecを解説したいと思います。 Word2Vecの結果を見たり、遊んでみたりするのは、非常に楽しいですので、まずはざっくり概要を解説したいと思います。 Word2Vecとは Word2V...
タイトルとURLをコピーしました