AI・機械学習 Attentionメカニズムを理解する 今回は、論文「Neural Machine Translation by Jointly Learning to Align and Translate」で提案され、そこからTransformerやBERTに展開していくきっかけとなったA... 2020.03.29 AI・機械学習自然言語処理
AI・機械学習 再帰的ニューラル・ネットワーク(Recurrent Neural Network; RNN)を理解する 再帰的ニューラル・ネットワーク(RNN)とは 時系列のデータをうまく処理するモデルシンプルなRNNだと勾配消失という問題があり、長期の依存関係をうまく取り扱えないそこでLong Short-Term Memory(LSTM)やGated ... 2020.03.28 AI・機械学習自然言語処理
データ分析実践 【データ分析実践】口コミを使ったキャンプ場に関する分析4 ~ Recurrent Neural Network, LSTM実装編 ~ 前回はWord2Vecを使った単語の埋め込み表現を使って遊びました。その前は、Bag-of-Wordsモデル+ロジットモデルを使って、データの分析及びレビュー評価を行いました。 今回は、今までの知識を使いながらも、新たに再帰的ニュー... 2020.03.17 データ分析実践