mm_0824

あっという間に1月も半分近く過ぎてしまいました。 今まで自然言語処理を中心に論文の解説などをしてきましたが、最近は画像処理も読んでいこうかなと思っています。 というのも、『Vision Transfo ...

今回は自然言語処理のブレイクスルーとなったBERTの事前学習方法を改良し、GeneratorとDiscriminatorを使った事前学習することで、BERTを大きく上回る精度を出したELECTRAの解 ...

私がいつも何かの初学者にオススメしているのがMOOCなどのオンライン学習です。 こちらの投稿にもあるように私は普段からUdemyやCourseraといったオンライン学習を結構取り入れています。 htt ...

明けましておめでとうございます。 また新しい1年が始まりました。 昨年は初めてブログという形でこの自然言語処理のサイトを始めました。 今年も何か世の中の役に立てること、そして自分の成長に資することを始 ...

前回はEDINETからEDINET APIを使って、企業の有価証券報告書情報(決算書)を取得し、さらにそこから欲しい情報を取り出せるようにしました。 https://data-analytics.fu ...

今回から数回かにわたって、実際の決算書を使ったデータ分析をしていきたいと思います。 まずは決算データの取得や可視化、分析といったところから始めたいと思いますが、本サイトは自然言語処理をメインにしていま ...

今回は、文章生成やSeq2Seqモデルを使った機械翻訳などでよく使われるビームサーチ(Beam Search)について解説したいと思います。 より理解しやすくするために、以下の3つを手法を順番に説明し ...

では、今回は『Longformer: The Long-Document Transformer』について解説したいと思います。 LongformerもReformerやSparse Transfor ...

今回は、LINEによる汎用的な超巨大言語モデルの開発の話題もあり、GPT-2以上に話題になっているOpenAI GPT-3について解説したいと思います。 結構長い論文ですが、論文の最後の方の内容も非常 ...

今回は“条件付き確率場(Conditional Random Fields; CRF)”を使った品詞タグ付けについて解説したいと思います。 条件付き確率場は、例えば単語列xが与えられたときに、品詞ラベ ...