- HOME >
- mm_0824
mm_0824
コンサルティング会社の管理職兼データ・サイエンティスト。 会社員をしながらAI 関連で起業しました。 皆様の業務や勉強のお役に立てれば嬉しいです。 Twitterでも新規記事についての発信をし始めたので是非フォローしていただけると嬉しいです! ↓↓↓
※ 本サイトはプロモーションが含まれています
2021/6/20
今回は自然言語処理の概要を解説したいと思います。 自然言語処理とはそもそも何か?、どういったことができるのか?、どんな課題があるのか?ということを中心に見ていきたいと思います。 本を読んでしっかりと勉 ...
2022/4/23
自然言語処理を独学したいと思っても、なかなかどの本を読めばわからない方も多いと思います。 また、本を買って勉強しようと思ったものの、難しすぎて挫折したという方もいると思います。 ということで、今回は自 ...
GELU(Gaussian Error Linear Units)は、OpenAI GPTやBERTで使われている活性化関数(activation)です。 BERTの論文で出てきても、「何かしらの活性 ...
「自然言語処理を勉強したいけど、何から勉強して良いかわからない。」「おすすめされている本を読んだけど、難しすぎて読むのをやめてしまった。」「基礎からしっかりと理解したいけど、基礎的な勉強に時間を使い過 ...
2022/10/12
今回はBERTの埋め込み表現の質を改善する“Sentence-BERT”について解説したいと思います。 https://arxiv.org/abs/1908.10084 まず、ラベル付きデータを用いた ...
2022/9/23
今回はモデルというよりも、モデルの中で使われている一つの仕組み、“Layer Normalization”について解説したいと思います。 Layer Normalizationはディープラーニングの基 ...
2022/3/7
では、今回は2018年の重要論文の一つである“ELMo”の解説をしたいと思います。 ELMoの論文のタイトルは、“Deep contextualized word representations”であ ...
2022/1/15 NLP, reformer, Transformer
今回はTransformerの改良版であるReformerを解説したいと思います。 BERTもそうですが、Transformerで長文を処理しようとすると、非常にメモリ使用量が多く、2000単語ぐらい ...
2021/6/20
では、今回は今まで見てきたモデルを中心に、自然言語処理の発展の歴史を確認していきたいと思います。 最近話題のBERTやその発展形であるXLNetなども歴史を追っていくと、どこがどうすごいのか、どういっ ...
2022/10/16
今回はBERT(Bidirectional Encoder Representations from Transormers)を使って文書分類(センチメント分析)をしたい ...