AI・機械学習 【論文解説】OpenAI 「GPT-3」を理解する
今回は、LINEによる汎用的な超巨大言語モデルの開発の話題もあり、GPT-2以上に話題になっているOpenAI GPT-3について解説したいと思います。
結構長い論文ですが、論文の最後の方の内容も非常に興味深い内容になっている論文で...
NLP
AI・機械学習 
AI・機械学習 【論文解説】OpenAI 「GPT-2」を理解する
さて、今回は以前ご紹介したOpenAI GPTの進化版OpenAI GPT2を解説したいと思います。
現時点ではすでにOpenAI GPT-3が開発されていますが、まずはOpenAI GPT-2を理解していきたいと思います。
...
AI・機械学習 品詞タグ付け(part-of-speech tagging)を理解する – ビタビアルゴリズム
『品詞タグ付け(part-of-speech tagging)を理解する』では、隠れマルコフモデルを使って、単語列xが与えられたときに品詞ラベル列がyとなる確率の求め方を解説しました。
まだ、このままでは各単語列と品詞ラベル...
自然言語処理 品詞タグ付け(part-of-speech tagging)を理解する
今回は、自然言語処理で代表的なタスクの一つである“品詞タグ付け(part-of-speech tagging”について解説したいと思います。
以下の本を参考にしています。
言語処理のための機械学習入門 (自然言語処理シリーズ)...
自然言語処理 【入門者向け】情報抽出(Information Extraction)の概要を理解する
今回から、何回かにわたって情報抽出(Information Extraction)について解説していきたいと思います。
主に、『情報抽出・固有表現抽出のための基礎知識 実践・自然言語処理シリーズ』を参考にしています。
情報抽出...
AI・機械学習 【論文解説】Don’t Stop Pretraining – 追加で事前学習を行う効果について
今回は、RoBERTaを使って、さらなる事前学習することによる効果を分析している“Don't Stop Pretraining: Adapt Language Models to Domain and Tasks”という論文を解説したいと...
AI・機械学習 【論文解説】DistilBERTを理解する
今回は、BERTをDistillation(蒸留)という手法を使って軽量化したDistilBERTについて、こちらの原論文をもとに解説したいと思います。
DistilBERTとは
DistilBERT(a Di...
学習 自然言語処理の効率的な勉強方法 – 最短で深く理解するために
「自然言語処理を勉強したいけど、何から勉強して良いかわからない。」「おすすめされている本を読んだけど、難しすぎて読むのをやめてしまった。」「基礎からしっかりと理解したいけど、基礎的な勉強に時間を使い過ぎたくない」
上記のような方は...
AI・機械学習 Reformerを理解する
今回はTransformerの改良版であるReformerを解説したいと思います。
BERTもそうですが、Transformerで長文を処理しようとすると、非常にメモリ使用量が多く、2000単語ぐらいでも非常に遅くなります。
...
AI・機械学習 Attentionメカニズムを理解する
今回は、論文「Neural Machine Translation by Jointly Learning to Align and Translate」で提案され、そこからTransformerやBERTに展開していくきっかけとなったA...