AI・機械学習

AI・機械学習

Sentence-BERTを理解する

今回はBERTの埋め込み表現の質を改善する“Sentence-BERT”について解説したいと思います。 まず、ラベル付きデータを用いたセンチメント分析や、2つの文章をインプットとした類似度の予測等であればBERTの日本語モデ...
AI・機械学習

Layer Normalizationを理解する

今回はモデルというよりも、モデルの中で使われている一つの仕組み、“Layer Normalization”について解説したいと思います。 Layer Normalizationはディープラーニングの基礎的な本では、ほぼ必ずと言ってい...
AI・機械学習

ELMoを理解する

では、今回は2018年の重要論文の一つである“ELMo”の解説をしたいと思います。 ELMoの論文のタイトルは、“Deep contextualized word representations”であり、つまり、文脈に応じたDeep...
AI・機械学習

Reformerを理解する

今回はTransformerの改良版であるReformerを解説したいと思います。 BERTもそうですが、Transformerで長文を処理しようとすると、非常にメモリ使用量が多く、2000単語ぐらいでも非常に遅くなります。 ...
AI・機械学習

ニューラルネットワークを使った自然言語処理の歴史を理解する

では、今回は今まで見てきたモデルを中心に、自然言語処理の発展の歴史を確認していきたいと思います。 最近話題のBERTやその発展形であるXLNetなども歴史を追っていくと、どこがどうすごいのか、どういった経緯で考え出されたアイデアなの...
AI・機械学習

ALBERTを理解する

さて、今回もBERTをベースとした改良版であるALBERTについて解説したいと思います。 一言で言うと、ALBERTはBERTをさらに大きなモデルにすることにより、精度の向上を図るものです。 ただ、メモリの容量などを考えると、...
AI・機械学習

ERNIE(Enhanced Language Representation with Informative Entities)を理解する

さて、今回はBERTの改良版であるERNIEについて解説したいと思います。 ERNIEというのは2種類あり、こちらが今回ご紹介する論文“ERNIE: Enhanced Language RepresentatioN with Inf...
AI・機械学習

ERNIE(Enhanced Representation through Knowledge Integration)を理解する

今回はBERTの改良版であるERNIEの論文を読みたので解説したいと思います。 これとは同時期に別のERNIE(Enhanced Language Representation with Informative Entiti...
AI・機械学習

RoBERTaを理解する

今回は、BERTの仕組みはそのままで、ハイパーパラメータの調整や学習用のデータ量を増やすことによって、BERTの精度を大幅に上回ることに成功したRoBERTa(Robustly optimized BERT approach)の論文を解説...
AI・機械学習

XLNetを理解する

今回はBERTを超えたというXLNetの論文を見ていきたいと思います。 BERTでは事前学習に“Masked LM”による双方向TransformerおよびNext Sentence Predictionという仕組みを導入し、大成功...
タイトルとURLをコピーしました