13億パラメータ日本語GPT-2を使ってみる

2022年1月にrinna社が13億パラメータを持つGPT-2の日本語モデルを公開し話題になっています。

rinna社は2021年8月にGPT2-mediumという3億強のパラメータを持つモデルを公開していましたが、今回のGPT-1b(これもGPT
)はその4倍のパラメータ数です。

もともとGPT-2というモデル自体はOpenAI社がが開発した、巨大なモデルを巨大な文章データを使って事前学習することで、いちいち解きたいタスクにあったデータセットで学習しなくて済むような汎用言語モデルです。

OpenAI GPT-3 APIの使い方を解説

2021年11月18日にOpenAIが「GPT-3」のウェイティングリストを解除すると発表しました。 これにより申請すれば誰でもGPT-3のAPIを使用できるようになります。 ということで、GPT-3 ...

ただ、上記の記事でも紹介していますが、日本語に特化したモデルではなく、やっぱり日本語で生活している人にとっては日本語のGPTが欲しくなりますね。

そこで、13億パラメータを持つGPT-2のモデルを日本語で学習して、公開してくれたのがこの「rinna」社です。

ということで今回は、この日本語GPT-2を触ってみたいと思います。

なお、今回はモデルの説明は一切ありませんので、詳細についてはこちらの記事を参照していただければと思います。

• GPT ...　『【論文解説】OpenAI 「GPT」を理解する』
  一番仕組みを詳しく解説しています。
• GPT-2 ... 『【論文解説】OpenAI 「GPT-2」を理解する』
  仕組みはGPTと大きく変わらないので、変わった点だけ解説しています。
• GPT-3 ... 『【論文解説】OpenAI 「GPT-3」を理解する』
  基本的には結果の紹介です。

GPT-1bの概要

ここでは、GPT2-mediumとの比較を中心にGPT-1bの概要を説明したいと思います。

GPT-1bの事前学習に使ったデータセットはこちらです。

• Japanese C4
• Japanese CC-100
• Japanese Wikipedia

GPT2-mediumで使ったデータセットからJapanese C4というデータセットが追加されています。

C4データセット(Colossal Clean Crawled Corpus)はGoogleのTransformerベースのモデルであるT5(Text-to-Text Transfer Transformer)で使われた“Webから収集された文章を集めたデータセット”で、その日本語のデータになります。

そして、パラメータ数はGPT2-mediumの3億強から13億に増えています。

レイヤは同じ24ですが、埋め込みの次元が1024から2048になって、モデルが大きくなっています。

学習するエポック数が多くなっており、パラメータと学習データセットが増えた分、より多く計算しています。

そして、perplexityは13.9とgpt2-mediumの18よりもかなり減少しています。

イメージとしては、今までは次の単語を予測する際に平均的に18語の候補となる単語があったものが、約14語に絞られているようになったということです。

(perplexityの詳細はこちらの記事をご参照ください『【入門者向け】Perplexityを直観的に理解する』)

学習時間は、以前と環境が違うので記載されていませんが、そもそもmediumで45日間かかっていました。

なかなか個人でできるレベルではありませんし、企業でも大変そうです。

そういう意味でも、こういったモデルを公開してもらえるのは本当にありがたいですね。

gpt-1bの使い方

では、ここからは実際にGPT-1bを使ってみましょう。

Prompt Engineering

GPTでの文章生成ではprompt engineeringというものが重要になってきます。

prompt engineeringとは、目的に合った文章を生成するために、入力文章を工夫することです。

例えば、以下はrinna社のプレスリリースの例ですが、宮本武蔵についてどんな人かという文章を生成したい場合は、入力に「宮本武蔵は、」としています。

それによりその続きの文章が生成されます。

また、GPT-2、GPT-3はセンチメント分析をするように特別な学習されてはいませんが、以下のような入力をすることでセンチメント分析をすることが可能です。

何がネガティブで、何がポジティブという知識を与えてやり、それに従って「良くはない」のセンチメントを推論します。

この発想は人間がたくさんの例なしに、少数の例示や手ほどきがあれば、うまく答えを導きだせることを模倣しています。

続いて、翻訳です。

同様にGPTは翻訳のために特別な学習はしていません。

しかしながら、以下のように翻訳させるように入力を調整することでうまく翻訳してくれます。

以上が、GPTを使った文章生成で重要なプロンプト・エンジニアリングです。

GPT-1bで文章生成

では、GPT-1bという学習済みモデルを使って文章生成をしてみましょう。

通常の文章生成

事前準備

まずは、トークナイザとしてT5Tokenizerを、文章生成のモデルとしてAutoModelForCausalLMをインポートします。

from transformers import T5Tokenizer, AutoModelForCausalLM
import torch

そして、トークナイザとモデルを取得し、設定します。

tokenizer = T5Tokenizer.from_pretrained("rinna/japanese-gpt-1b")
model = AutoModelForCausalLM.from_pretrained("rinna/japanese-gpt-1b")

基本的にGPUを使いたいので以下のように設定します。

device = "cuda:0" if torch.cuda.is_available() else "cpu"
model = model.to(device)

GPUを使わないと文章生成に結構時間がかかります。

文章生成

準備が整ったので、文章を生成してみます。

プロンプトに以下を設定してみます。

prompt = "人生を楽しくポジティブに生きていくための3つのこと。1."

「3つのこと」と言っているので、「1. ..., 2. ..., 3. ...」となって欲しいですが、どうなるのでしょうか。

以下のようなコードで文章を生成します。

input_ids = tokenizer.encode(prompt, return_tensors="pt",add_special_tokens=False).to(device)
with torch.no_grad():
    output = model.generate(
        input_ids,
        max_length=100,
        min_length=100,
        do_sample=True,
        top_k=500,
        top_p=0.95,
        pad_token_id=tokenizer.pad_token_id,
        bos_token_id=tokenizer.bos_token_id,
        eos_token_id=tokenizer.eos_token_id,
        bad_word_ids=[[tokenizer.unk_token_id]],
        num_return_sequences=5
    )
decoded = tokenizer.batch_decode(output,skip_special_tokens=True)
for i in range(num_return_sequences):
  print(decoded[i])

1行目でプロンプトを単語のインデックスの列に変換し、2行目から15行目で文章を生成しています。

16行目で生成された文章のインデクスの列を日本語に変換し、17、18行目で文章を表示しています。

パラメータの意味

簡単にパラメータの説明をしておきます。

• min_length、max_length
  それぞれ最短の文章長、最長の文章長を表しています。
• do_sample
  Trueとするとランダムに文章を生成します。
  Falseを設定すると、決まった文章しか生成されなくなります。
• top_k
  500を設定していますが、予測される文章のうち確率の高い500個のみを保持して文章を生成するということです。
  (かなり粗い説明なので詳細は『ビームサーチ(Beam Search)を理解する』をご参照ください)
• top_p
  0から1までの値を取り、top_p=0.95は上位95％の単語から選んでいるという意味です。
  top_p=0.1とすると上位10％の単語から選んでいるので、選ばれる文章のバリエーションが少なくなります。
• num_return_sequences
  生成する文章の数です。
  今回は5として5つ生成しています。
• その他
  pad_token_id、bos_token_idなどで特殊な単語のIDを指定しています(あまり意識しなくても大丈夫かもしれません)

他にも、色々設定・チューニングできるので、うまく設定すると目的にあったより良い文章ができるかもしれません。

生成結果

プロンプトはこちらでした。

prompt = "人生を楽しくポジティブに生きていくための3つのこと。1."

では、生成結果を見てみましょう。

こんな感じの文章が生成されます。5つの文章のうちの1つ目だけを記載しています。

太字がプロンプトに設定した文章で、そのあとが生成された文章になります。

ちゃんと3つのポイントが生成されていますね！！

2つ目は以下です。ちょっと長いので途中までにしています。

こちらも3つちゃんと生成されていました。

というように、色々な文章が生成されます。

次は以下のように、プロンプトを設定してみます。

prompt = "筋トレするメリット 1. 健康になる。 2.  "

この場合は3つでなくてもよいですね。

文章生成のコードは同じなので省略しますが、以下のような文章がされました。

11と13は同じ病気予防だったり、同じ意味の項目があったりしますが、全体的にうまくいっていそうです。

筋トレのメリットをブログやYouTubeなどで発信している人は、アイデアを出す上で参考になるかもしれませんね。

それ以外にも、もちろん普通の文章も生成できます。

何か既にありそうな文章ですが、基本的にランダム性を入れているので、まったく同じ文章というのは見つかりません(見つかりにくいだけかもしれませんが)。

センチメント分析

では、次に簡単なセンチメント分析をしてみましょう。

以下の入力にして、センチメントを予測します。

コードはこちらです。

prompt = "上方修正はポジティブ。下方修正はネガティブ。営業増益はポジティブ。営業減益はネガティブ。売上増加は"
input_ids = tokenizer.encode(prompt, return_tensors="pt",add_special_tokens=False).to(device)
with torch.no_grad():
    output = model.generate(
        input_ids,
        max_length=30,
        min_length=10,
        do_sample=False,
        pad_token_id=tokenizer.pad_token_id,
        bos_token_id=tokenizer.bos_token_id,
        eos_token_id=tokenizer.eos_token_id,
        bad_word_ids=[[tokenizer.unk_token_id]],
        num_return_sequences=1
    )
decoded = tokenizer.batch_decode(output,skip_special_tokens=True)
print(decoded)

ここでは、生成される文章が毎回違っては困るので、do_sample=Falseとしてランダムに文章を生成しないようにします。

以下のように、ちゃんと売上増加はポジティブと判定されています。

他にプロンプトを変えて、「粉飾決算」のセンチメントを予測した場合でもうまくいっています。

「営業赤字」として場合もうまくいっています。

以下は、間違っている例です。

「特別利益」はポジティブなイメージですが、ネガティブと判定されています(ちなみに、特別損失はネガティブと判定されます)。

当然と言えば当然ですが、必ずしも思い通りに生成するとは限りません。

プロンプトをうまく設定すれば良いかもしれませんので、工夫が必要ですね。

足し算

では、GPT-3の論文で実験されていた足し算について見てみましょう。

GPT-3では2桁ぐらいの足し算について、ある程度できていました。

promptを"1+2="とます。

3が返ってくればいいですね。

prompt = "1+2="
input_ids = tokenizer.encode(prompt, return_tensors="pt",add_special_tokens=False).to(device)
with torch.no_grad():
    output = model.generate(
        input_ids,
        max_length=5,
        min_length=4,
        do_sample=False,
        pad_token_id=tokenizer.pad_token_id,
        bos_token_id=tokenizer.bos_token_id,
        eos_token_id=tokenizer.eos_token_id,
        bad_word_ids=[[tokenizer.unk_token_id]],
        num_return_sequences=1
    )
decoded = tokenizer.batch_decode(output,skip_special_tokens=True)
print(decoded)

ここでも、do_sample=Falseとして、ランダムに生成しないようにしています。

答えは"1+2=3"と正しく答えられました。

なかなかいけるんじゃないか、と思いましたが、"1+8="とすると

2という答えが返ってきました。

何とかならないものかと、プロンプトを"1+3=4。1+8="とすると、

無事9という答えが返ってきました。

とはいえ、他に色々な計算を試しても、やはり計算というのはなかなか難しいようです。

1300億強のパラメータを持つGPT-3と比較するのは酷ですね。

他にも色々できると思いますので皆さんでも試して遊んでみてください。

ファインチューニング

では、自分が生成したいドメインの文章を生成するために、ファインチューニングをしてみましょう。

(センチメント分析などのタスクのデータを使っているわけではないので、ファインチューニングというより“ドメインに合わせた追加の事前学習というべきなのかな？”と思いますが、ここではファインチューニングという言葉を使います)

で、やってみたのですが、Google Colab Proだとメモリが足りず、ファインチューニングが出来ませんでした。

ですので、とりあえず今回は3億パラメータのgpt2-mediumを使ってファインチューニングしたいと思います。

データセット

個人的に収集したキャンプサイトの口コミのデータセットを使用します。

サービスや設備などの6項目について、評価とコメントがあります。

上記のような文章が各項目について1万強ずつぐらいあります。

評価は1から5で5が一番良くて、1が一番悪くなっています。

このデータセットを使って、色々遊んでみたいと思います。

ファインチューニングのやり方

まず、ソースからtransformersをインストールします(でないと動かない場合があります)。

!pip install git+https://github.com/huggingface/transformers

続いて、SentencePieceとdatasetsをインストールします。

!pip install sentencepiece
!pip install datasets

あと、以下のリポジトリにあるスクリプトををするのでリポジトリをクローンします。

!git clone https://github.com/huggingface/transformers

Google Colabを使っている場合、データを取得するためにドライブをマウントする必要があります。

from google.colab import drive
drive.mount('/content/data')

データのある場所に移動します。

%cd '/content/data/My Drive/data/'

requirements.txtを使ってインストールしろ、というエラーが出た場合は、以下でインストールしてください。

pip install -r ./transformers/examples/pytorch/language-modeling/requirements.txt

あとは、以下のようにrun_clm.pyを使ってファインチューニングすることができます。

!python ./transformers/examples/pytorch/language-modeling/run_clm.py \
  --model_name_or_path=rinna/japanese-gpt2-medium \
  --train_file=train.txt \
  --do_train \
  --num_train_epochs=3 \
  --save_steps=10000 \
  --block_size 512 \
  --save_total_limit=3 \
  --per_device_train_batch_size=1 \
  --output_dir=output/ \
  --overwrite_output_dir \
  --use_fast_tokenizer=False

実際に実行してlossをプロットすると、以下のように減少していることがわかります。

RNNでスクラッチで学習した文章生成

GPTで文章を生成して見る前に、かなり前にこちらの記事『【データ分析実践】RNNを使って文章生成を実装してみる』で同じデータセットを使って学習した結果をみておきましょう。

こちらではRNNをスクラッチで学習しました。

以下のような文章が生成されています。

いちおう文章にはなっているような、なっていないようなという感じですね。

GPT2で生成した結果

では、同じ元データセットを使って、GPT-2(medium)を学習した結果を見ていきます。

タイトルからコメントを生成する

以下のようなタイトルとコメントをつなげた文章(原文を少し修正しています)を持つデータセットを作成しています。

太字がタイトルで、そのあとがコメントです。

では、このデータセットで学習したモデル読み込みます。

from transformers import T5Tokenizer, AutoModelForCausalLM
import torch
tokenizer = T5Tokenizer.from_pretrained("rinna/japanese-gpt2-medium")
tokenizer.do_lower_case = True

device = torch.device("cuda" if torch.cuda.is_available() else "cpu")
model = AutoModelForCausalLM.from_pretrained("output/")
model.to(device)
model.eval()

そして、タイトルをプロンプトに設定して文章を生成します。

良い評価のサンプル

プロンプトは「最高の3日間でした！」にしてみます。

タイトルに合った文章が生成されるでしょうか？

num_return_sequences = 5
prompt = "最高の3日間でした！:"
input_ids = tokenizer.encode(prompt, return_tensors="pt",add_special_tokens=False).to(device)
with torch.no_grad():
    output = model.generate(
        input_ids,
        max_length=100,
        min_length=100,
        do_sample=True,
        top_k=500,
        top_p=0.95,
        pad_token_id=tokenizer.pad_token_id,
        bos_token_id=tokenizer.bos_token_id,
        eos_token_id=tokenizer.eos_token_id,
        bad_word_ids=[[tokenizer.unk_token_id]],
        num_return_sequences=5
    )
decoded = tokenizer.batch_decode(output,skip_special_tokens=True)
for i in range(num_return_sequences):
  print(decoded[i])

生成された文章を見てみましょう。

タイトルにあった文章が生成されていることがわかります。

他にも以下のような文章が生成されます。

しつこいですが、3つ目の文章です。

どれもうまく文章が生成されていますね。

さすがにRNNで生成した文章よりも遥かに精度が高いですね。

悪い評価のサンプル

では、続いてプロンプトを「最悪の3日間でした」にしたいと思います。

悪い文章が生成されることを期待します。

1つ目に生成された文章はこちらです。

「追加料金を取られるという悲しい現実が待っていました」という悪い出来事がしっかりと出てきていますね。

最後の1文はちょっと合っていませんが、それ以外はうまくいっているようです。

2番目の文章はこちらです。

ちょっと謎な文章もありますが、基本的に不満がある文章になっていますね。

項目と評価からコメントを生成する

では、次は項目(サービス、設備、自然、環境など)とセンチメントを付与したデータセットを作成して、学習させます。

次のような形で、「項目 + センチメント -> コメント」という形で整形します。

項目と評価を指定して文章生成

では項目を“サービス”、評価を”非常に良い”として文章を生成します。

生成された文章は、ちゃんとサービスに関する内容になっており、しかも良いコメントですね。

続いて、“悪いサービス”の文章を生成してみましょう。

ごみの処分に3000円とは確かに不満ですね(笑)

項目を変えてみる

項目を「設備」にして文章を生成してみましょう。

ちゃんと設備に関する文章になっているでしょうか。

お風呂や炊事場、トイレという設備に関するコメントになっていて、ちゃんとセンチメントも考慮されていますね。

では、「悪い設備」です。

ちゃんと設備に関する内容になっており、悪いコメントになっていますね。

項目、評価と“話題”を指定する

では、続いて項目、評価を指定しつつ、開始の文章を指定してみましょう。

ここでは、「環境 + 非常に良い -> 夜景」として、夜景に関して良いコメントを生成してみましょう。

環境に関する話題で夜景についてもちゃんとコメントされています。

悪い場合は次のようになりました。

夜景で悪い文章はどうやって書くのだろうと思いましたが、「夜景を見るのに遠くまで行かない」という感じで、うまく文章が生成されています。

では、環境をサービスに変えてみましょう。

うまくできていますねぇ。

サービスと夜景をうまく絡めた文章が出来ています。

まとめ

ということで、今回は13億パラメータを持つ日本語版GPT-2の使い方などを見てきました。

かなりのケースでうまくいっていますが、うまくいかないケースも見られています。

しかしながら、個人的にはすごく可能性を感じさせてくれるモデルだと感じました。

今後もこういった日本語モデルが作られて、日本語のNLPが発展していくことを期待しています（上から目線）。

では！！