自然言語処理

AI・機械学習

【論文解説】Don’t Stop Pretraining – 追加で事前学習を行う効果について

今回は、RoBERTaを使って、さらなる事前学習することによる効果を分析している“Don't Stop Pretraining: Adapt Language Models to Domain and Tasks”という論文を解説したいと...
AI・機械学習

【論文解説】DistilBERTを理解する

今回は、BERTをDitillation(蒸留)という手法を使って軽量化したDistilBERTについて、こちらの原論文をもとに解説したいと思います。 DistilBERTとは DistilBERT(a Distill...
AI・機械学習

【入門者向け】自然言語処理(Natural Language Processing; NLP)とは

今回は自然言語処理の概要を解説したいと思います。 自然言語処理とはそもそも何か?、どういったことができるのか?、どんな課題があるのか?ということを中心に見ていきたいと思います。 本を読んでしっかりと勉強したいという方は、こちら...
学習

自然言語処理を勉強する上でおすすめの本をご紹介

自然言語処理を独学したいと思っても、なかなかどの本を読めばわからない方も多いと思います。 また、本を買って勉強しようと思ったものの、難しすぎて挫折したという方もいると思います。 ということで、今回は自然言語処理を勉強する上で、...
AI・機械学習

活性化関数GELUを理解する

GELU(Gaussian Error Linear Units)は、OpenAI GPTやBERTで使われている活性化関数です。 BERTの論文で出てきても、「何かしらの活性化関数を使ってるんだなー」、とか「関数形だけ確認しておこ...
学習

自然言語処理の効率的な勉強方法 – 最短で深く理解するために

「自然言語処理を勉強したいけど、何から勉強して良いかわからない。」「おすすめされている本を読んだけど、難しすぎて読むのをやめてしまった。」「基礎からしっかりと理解したいけど、基礎的な勉強に時間を使い過ぎたくない」 上記のような方は...
AI・機械学習

Sentence-BERTを理解する

今回はBERTの埋め込み表現の質を改善する“Sentence-BERT”について解説したいと思います。 まず、ラベル付きデータを用いたセンチメント分析や、2つの文章をインプットとした類似度の予測等であればBERTの日本語モデ...
AI・機械学習

Layer Normalizationを理解する

今回はモデルというよりも、モデルの中で使われている一つの仕組み、“Layer Normalization”について解説したいと思います。 Layer Normalizationはディープラーニングの基礎的な本では、ほぼ必ずと言ってい...
AI・機械学習

ELMoを理解する

では、今回は2018年の重要論文の一つである“ELMo”の解説をしたいと思います。 ELMoの論文のタイトルは、“Deep contextualized word representations”であり、つまり、文脈に応じたDeep...
AI・機械学習

Reformerを理解する

今回はTransformerの改良版であるReformerを解説したいと思います。 BERTもそうですが、Transformerで長文を処理しようとすると、非常にメモリ使用量が多く、2000単語ぐらいでも非常に遅くなります。 ...
タイトルとURLをコピーしました