AI・機械学習 【論文解説】Don’t Stop Pretraining – 追加で事前学習を行う効果について
今回は、RoBERTaを使って、さらなる事前学習することによる効果を分析している“Don't Stop Pretraining: Adapt Language Models to Domain and Tasks”という論文を解説したいと...
AI・機械学習
AI・機械学習 
AI・機械学習 【論文解説】DistilBERTを理解する
今回は、BERTをDitillation(蒸留)という手法を使って軽量化したDistilBERTについて、こちらの原論文をもとに解説したいと思います。
DistilBERTとは
DistilBERT(a Distill...
AI・機械学習 【入門者向け】自然言語処理(Natural Language Processing; NLP)とは
今回は自然言語処理の概要を解説したいと思います。
自然言語処理とはそもそも何か？、どういったことができるのか？、どんな課題があるのか？ということを中心に見ていきたいと思います。
本を読んでしっかりと勉強したいという方は、こちら...
AI・機械学習 活性化関数GELUを理解する
GELU(Gaussian Error Linear Units)は、OpenAI GPTやBERTで使われている活性化関数(activation)です。
BERTの論文で出てきても、「何かしらの活性化関数を使ってるんだなー」、とか...
AI・機械学習 Sentence-BERTを理解する
今回はBERTの埋め込み表現の質を改善する“Sentence-BERT”について解説したいと思います。
まず、ラベル付きデータを用いたセンチメント分析や、2つの文章をインプットとした類似度の予測等であればBERTの日本語モデ...
AI・機械学習 Layer Normalizationを理解する
今回はモデルというよりも、モデルの中で使われている一つの仕組み、“Layer Normalization”について解説したいと思います。
Layer Normalizationはディープラーニングの基礎的な本では、ほぼ必ずと言ってい...
AI・機械学習 ELMoを理解する
では、今回は2018年の重要論文の一つである“ELMo”の解説をしたいと思います。
ELMoの論文のタイトルは、“Deep contextualized word representations”であり、つまり、文脈に応じたDeep...
AI・機械学習 Reformerを理解する
今回はTransformerの改良版であるReformerを解説したいと思います。
BERTもそうですが、Transformerで長文を処理しようとすると、非常にメモリ使用量が多く、2000単語ぐらいでも非常に遅くなります。
...
AI・機械学習 ニューラルネットワークを使った自然言語処理の歴史を理解する
では、今回は今まで見てきたモデルを中心に、自然言語処理の発展の歴史を確認していきたいと思います。
最近話題のBERTやその発展形であるXLNetなども歴史を追っていくと、どこがどうすごいのか、どういった経緯で考え出されたアイデアなの...
AI・機械学習 ALBERTを理解する
さて、今回もBERTをベースとした改良版であるALBERTについて解説したいと思います。
一言で言うと、ALBERTはBERTをさらに大きなモデルにすることにより、精度の向上を図るものです。
ただ、メモリの容量などを考えると、...