mm_0824
-
-
事前学習 - ファインチューニングを理解する
2021/8/20 ファインチューニング, 事前学習, 自然言語処理
今回は「事前学習(pre-training) - ファインチューニング(fine-tuning)」を説明したいと思います。 以下の2015年の論文を参考に説明していきます。 『Semi-supervi ...
-
-
Transformer-XLを理解する
2021/6/20 自然言語処理
今回は、Transformerの改良版であるTransformer-XLの論文を読んでみたので、詳しく見ていきたいと思います。 Transformer-XLは“Transformer Extra La ...
-
-
【データ分析実践】口コミを使ったキャンプ場に関する分析8 ~Transformer実装編 ~
2021/11/16 AI, attention, Transformer, データ分析, 自然言語処理
今回はTransformerで口コミの評価をしたいと思います。 Transformerは、RNNやCNNを使わないことから、高速に計算できるモデルとして、BERTやXLNetなどでも使われている重要な ...
-
-
【データ分析実践】RNNを使って文章生成を実装してみる
2022/12/14 keras, RNN, Tensorflow, 文章生成, 自然言語処理
では、今回は今までの星の数当てではなく、再帰的ニューラルネットワーク(RNN)を使って、文章生成をやってみたいと思います。 こちらのTensorflowのチュートリアルを参考にしています。 RNNにつ ...
-
-
【論文解説】Transformerを理解する
2024/3/1 attention, Attention is All You Need, Transformer, 自然言語処理
では、今回は2017年に論文「Attention Is All You Need」で提案された “Transformer” について詳しく解説したいと思います。 『Attention is All Y ...
-
-
Attentionメカニズムを理解する
今回は、論文「Neural Machine Translation by Jointly Learning to Align and Translate」で提案され、そこから Transformer ...
-
-
再帰的ニューラル・ネットワーク(Recurrent Neural Network; RNN)を理解する
再帰的ニューラル・ネットワーク(RNN)とは 時系列のデータをうまく処理するモデルシンプルなRNNだと勾配消失という問題があり、長期の依存関係をうまく取り扱えないそこでLong Short-Term ...
-
-
【データ分析実践】口コミを使ったキャンプ場に関する分析7 ~Attentionメカニズム実装編 ~
2021/6/20
Attentionメカニズムを使ったセンチメント分析 今回はLong Short-Term Memory(LSTM)にAttentionメカニズムを加えたモデルを作成したいと思います。 Attenti ...
-
-
【データ分析実践】口コミを使ったキャンプ場に関する分析6 ~Convolutional Neural Network(CNN)実装編 ~
では、今回は畳み込みニューラルネットワーク(Convolutional Neural Network; CNN)を使ってみたいと思います。CNNは、主に画像系のディープラーニングで使われることの多いモ ...
-
-
【データ分析実践】口コミを使ったキャンプ場に関する分析4 ~ Recurrent Neural Network, LSTM実装編 ~
2020/4/11 LSTM, RNN, データ分析, 再帰的ニューラルネットワーク
前回はWord2Vecを使った単語の埋め込み表現を使って遊びました。その前は、Bag-of-Wordsモデル+ロジットモデルを使って、データの分析及びレビュー評価を行いました。 今回は、今までの知識を ...