NLP

自然言語処理

【入門者向け】情報抽出(Information Extraction)の概要を理解する

今回から、何回かにわたって情報抽出(Information Extraction)について解説していきたいと思います。 主に、『情報抽出・固有表現抽出のための基礎知識 実践・自然言語処理シリーズ』を参考にしています。 情報抽出...
AI・機械学習

【論文解説】Don’t Stop Pretraining – 追加で事前学習を行う効果について

今回は、RoBERTaを使って、さらなる事前学習することによる効果を分析している“Don't Stop Pretraining: Adapt Language Models to Domain and Tasks”という論文を解説したいと...
AI・機械学習

【論文解説】DistilBERTを理解する

今回は、BERTをDitillation(蒸留)という手法を使って軽量化したDistilBERTについて、こちらの原論文をもとに解説したいと思います。 DistilBERTとは DistilBERT(a Distill...
学習

自然言語処理の効率的な勉強方法 – 最短で深く理解するために

「自然言語処理を勉強したいけど、何から勉強して良いかわからない。」「おすすめされている本を読んだけど、難しすぎて読むのをやめてしまった。」「基礎からしっかりと理解したいけど、基礎的な勉強に時間を使い過ぎたくない」 上記のような方は...
AI・機械学習

Reformerを理解する

今回はTransformerの改良版であるReformerを解説したいと思います。 BERTもそうですが、Transformerで長文を処理しようとすると、非常にメモリ使用量が多く、2000単語ぐらいでも非常に遅くなります。 ...
AI・機械学習

Attentionメカニズムを理解する

今回は、論文「Neural Machine Translation by Jointly Learning to Align and Translate」で提案され、そこからTransformerやBERTに展開していくきっかけとなったA...
データ分析実践

【データ分析実践】口コミを使ったキャンプ場に関する分析1 ~ 基礎分析編 ~

キャンプ場の口コミを利用して、最近のキャンプの状況、キャンプサイトについて自然言語処理などを使いながら分析してみたいと思います。 これから数回に渡って投稿しますが、まずは、「基礎分析編」として基本的な事項について確認していきたいと思...
タイトルとURLをコピーしました