mm_0824

コンサルティング会社の管理職兼データ・サイエンティスト。 会社員をしながらAI 関連で起業しました。 皆様の業務や勉強のお役に立てれば嬉しいです。 Twitterでも新規記事についての発信をし始めたので是非フォローしていただけると嬉しいです! ↓↓↓

ALBERTを理解する

2021/6/20  

さて、今回もBERTをベースとした改良版であるALBERTについて解説したいと思います。 一言で言うと、ALBERTはBERTをさらに大きなモデルにすることにより、精度の向上を図るものです。 ただ、メ ...

ERNIE(Enhanced Language Representation with Informative Entities)を理解する

2021/6/20  

さて、今回はBERTの改良版であるERNIEについて解説したいと思います。 ERNIEというのは2種類あり、こちらが今回ご紹介する論文“ERNIE: Enhanced Language Represe ...

ERNIE(Enhanced Representation through Knowledge Integration)を理解する

2021/6/20    ,

今回はBERTの改良版であるERNIEの論文を読みたので解説したいと思います。 https://arxiv.org/abs/1904.09223 これとは同時期に別のERNIE(Enhanced La ...

RoBERTaを理解する

2023/6/7  

今回は、BERTの仕組みはそのままで、ハイパーパラメータの調整や学習用のデータ量を増やすことによって、BERTの精度を大幅に上回ることに成功したRoBERTa(Robustly optimized B ...

XLNetを理解する

今回はBERTを超えたというXLNetの論文を見ていきたいと思います。 BERTでは事前学習に“Masked LM”による双方向TransformerおよびNext Sentence Predicti ...

【論文解説】BERTを理解する

2022/10/16    ,

今回は自然言語処理で一つのブレイクスルーとなったBERTについて解説したいと思います。 現時点で、BERTは極めて重要なモデルですので是非しっかり理解していただければと思います。 もちろん新しい仕組み ...

事前学習-ファインチューニングをもう少し理解する

2021/6/20  

こちらの記事で事前学習-ファインチューニングについて説明しましたが、もう少し深く理解したいと思い、論文を読みましたので紹介したいと思います。 https://data-analytics.fun/20 ...

【論文解説】OpenAI 「GPT」を理解する

2024/2/15    ,

今回は OpenAI が提案する OpenAI 「GPT」を解説したいと思います。 なお、現在ではGPT2、GPT3、GPT4 とどんどん発展していますので、そちらが気になる方は以下の記事をご参照くだ ...

ULMFiTを理解する

前回、事前学習-ファインチューニングに関する記事を書いたので、次はその発展形ともいえるUniversal Language Model Fine-tuning(ULMFiT)について説明していきたいと ...

【データ分析実践】口コミを使ったキャンプ場に関する分析(事前学習-ファインチューニング実装編)

以下の投稿では、事前学習-ファインチューニングについて解説しました。この考え方は非常に重要なので一度簡単なモデルを使って実装してみたいと思います。 https://data-analytics.fun ...