AI・機械学習 大規模言語モデルをだます Hindsight Neglect タスクとは 今回は GPT-4 のテクニカル・レポートで出てきた 『Hindsight Neglect』というタスクをさらっと解説したいと思います。 『Hindsight Neglect』(日本語に直訳すると後知恵無視?) というタスクは、今非... 2023.04.23 AI・機械学習自然言語処理
AI・機械学習 OpenAI の ChatGPT がセンター試験の英語を受けたら何点ぐらい取れるか試してみた 2022年11月にOpenAIから“ChatGPT: Optimizing Language Models for Dialogue”というタイトルでChatGPTのアプリケーションが公開されました。 かなり話題になっているので知っ... 2023.01.29 AI・機械学習自然言語処理
AI・機械学習 Transformers BERT日本語モデルでセンチメント分析 さて、今回はHugginFaceのTransformersとBERT日本語モデルを使ってセンチメント分析をしたいと思います。 BERTを使ったセンチメント分析は以前こちらの記事でしましたが、今ではTransformersという非常に... 2022.10.16 AI・機械学習自然言語処理
AI・機械学習 【入門者向け】Perplexityを直観的に理解する 今回は、BERTやGPT3などの言語モデルを評価する際に一般的に利用されているperplexity(パープレキシティ)について解説したいと思います。 ここでは、厳密な説明というよりは直観的にわかりやすく、論文等を読んでいてぱっとイメ... 2022.01.15 AI・機械学習自然言語処理
AI・機械学習 【論文解説】Open Domain Question Answering 『RAG』を理解する 今回はOpen Domain Question Answeringの第三弾としてFacebookから提案された『RAG(Retrieval-Augmented Generation)』を紹介したいと思います。 第一弾は『ORQA』、... 2021.06.03 AI・機械学習自然言語処理
AI・機械学習 【論文解説】自然言語処理と画像処理の融合 – OpenAI 『CLIP』を理解する 今回はOpenAIの『CLIP(Contrastive Language-Image Pre-training)』を解説したいと思います。 CLIPは画像の分類に利用されるモデルですが、今までのモデルと何が違うかというと、自然言語処... 2021.03.24 AI・機械学習画像認識自然言語処理
AI・機械学習 【論文解説】Open Domain Question Answering 「REALM」を理解する 前回、オープン・ドメインの質疑応答タスクに対して、BERTを全面的に採用し、End-to-Endで学習することができるORQA(Open Retrieval Question Answering)を紹介しました。 今回は... 2021.03.14 AI・機械学習自然言語処理
AI・機械学習 文章から画像を生成するOpenAI 「DALL-E」について解説 2021年1月5日にOpenAIのサイトに「DALL·E: Creating Images from Text」という記事が公開されました。 OpenAIは最近、自然言語処理技術を使って非常に自然なニュースを生成することができるGP... 2021.02.05 AI・機械学習画像認識自然言語処理
AI・機械学習 【論文解説】Sparse Transformerを理解する さて、今回はOpenAIから提案された、attentionを効率化することで長い系列を取り扱うことを可能にしたSparse Transformerの論文について解説したいと思います。 この仕組みはGPT-3やDALL-Eなどでも使わ... 2021.02.01 AI・機械学習画像認識自然言語処理
AI・機械学習 【論文解説】Longformerを理解する では、今回は『Longformer: The Long-Document Transformer』について解説したいと思います。 LongformerもReformerやSparse Transformerと同じで、self-att... 2020.12.14 AI・機械学習自然言語処理