【データ分析実践】口コミを使ったキャンプ場に関する分析(BERT編)

データ分析実践

今回はBERT(Bidirectional Encoder Representations from Transormers)を使って文書分類(センチメント分析)をしたいと思います。

試すと言っても今回は自分の手で実装するのではなく、公開されたモデルを利用したいと思います。

現在NLP(自然言語処理)を使って何等かの予測をする場合、BERTは他のモデルと比べてかなり精度が良いと考えていますので、使い方は知っておいた方が良いと思います

BERTの仕組みについてはこちらの記事をご参照ください。

データはいつも通りキャンプの口コミデータを使って、5段階評価のうち星5個か星3個以下かの二値分類を行います。
データセットについてはこちらをご参照ください。

ここでは、Googleが公開しているソースコードを利用して、少し修正しているだけですが、自分で実装してみたいという方には以下の本がオススメです。

自然言語処理専門の本ではありませんが、BERTやTransformer、他にも画像認識やGANなどを自分で実装しながら学ぶことができ、さらにPyTorchも学べる非常に良い本です。

では早速使っていきましょう。

使い方

今回はこちらのBERT日本語Pretrainedモデルを利用させていただきました。

ku_bert_japanese - KUROHASHI-CHU-MURAWAKI LAB

これは、Googleが公開しているソースコードを使って、日本語のWikipediaコーパスを使ってBERTを事前学習しています。

形態素解析にJUMAN++を使用していますので、JUMAN++をインストールする必要があります。

Windowsへのインストールが大変だったので、AWS(Amazon Web Service)を使用しました。

AWSの利用方法

(ちなみに、私はAWSのEC2を使える程度の理解度なのでご了承ください。また知っている人は読み飛ばしてください)
まず、こちらから(https://aws.amazon.com/jp/)AWSのアカウントを作成します。

そして、AWSコンソールにログインし、EC2インスタンスを作成していきます。

まず、AMI(Amazon Machine Image)を選択します。AMIはOSやライブラリ類がパッケージのような形で提供されており、用途に合わせて選ぶことができます。
今回は、Tensorflowを使いたいので、検索バーで「Deep Learning」と入力して検索し、“Deep Learning AMI (Ubuntu 18.04) Version 29.0”を選択しました。

インスタンス・タイプはp2.xlargeというGPUを使うことができるインスタンスを選択します。もっとたくさんGPUを使いたいとかあればp2.xxlargeなどさらに上のグレードもあります。ただし、その分値段が高くなります。

それ以外はデフォルトのままでも大丈夫です。
たまに容量不足で動かなくなってしまうことがあるので、使い方によってはストレージのサイズを増やしても良いと思います。

そして、インスタンスの起動まで進めていきます。
以下の画面では新しいキーペアを作成します。EC2サーバーに入るときにこのキーが必要になりますので、大切に保管しておきましょう。

これでEC2インスタンスの作成ができました。
あとは、インスタンスを選択して、「アクション」から「インスタンスの状態」→「開始」や「停止」なので操作します。
使わないときは「停止」しておかないとお金がかかってしまいます。

EC2サーバーに入るには、SSHクライアントというのが必要になります。
いくつかあるようですが、私はTera Termを使っていますので、クライアントPCに普通にインストールすれば大丈夫です。

そして、Tera TermからEC2サーバーにログインします。
EC2インスタンスを起動し、Tera Termを立ち上げます。
Tera Termのホスト欄にパブリックDNSを入力します。

そして、ユーザー名に“ubuntu”を入力し、秘密鍵を指定します。

これでEC2サーバーに入ることができると思います。

JUMAN++インストール

JUMAN++のインストールはこちらのサイトを参考にしています。

Ubuntu18.04にJuman++ V2をインストール - Qiita
この記事の対象者 AI Chatbotや自然言語処理に興味がある。 MeCabだけでなく、Juman++が使用してみたい Jumanはインストールでできたが、Juman++のインストール方法がよくわからない 環境 O...

まとめると以下のコマンドを流せば大丈夫です。

# jumanpp-2.0.0-rc3 download
wget https://github.com/ku-nlp/jumanpp/releases/download/v2.0.0-rc3/jumanpp-2.0.0-rc3.tar.xz
# unzip a file
tar xvf jumanpp-2.0.0-rc3.tar.xz
# cmake install
sudo apt install cmake -y
# build jumanpp
cd jumanpp-2.0.0-rc3/
mkdir build
cd build/
cmake .. -DCMAKE_BUILD_TYPE=Release -DCMAKE_INSTALL_PREFIX=/usr/local
make
# install jumanpp
sudo make install

なお、pyknpというパッケージもインストールする必要がありますので、pipで普通にインストールします。

pip install pyknp

BERTの準備

では、BERTの事前学習モデル(パラメータ等)とBERTのプログラムを取得します。

まず、以下のHPから日本語版BERTの事前学習モデルをダウンロードし、EC2サーバーに保存します。

ku_bert_japanese - KUROHASHI-CHU-MURAWAKI LAB

そして、Googleが公開しているBERTのプログラムも以下から取得し、EC2サーバーに保存します(Git cloneすれば良いです)。

google-research/bert
TensorFlow code and pre-trained models for BERT. Contribute to google-research/bert development by creating an account on GitHub.

これであとは評価させたい文章をJUMAN++で分かち書きして、tsvファイルにして読み込ませれば評価してくれます。
ただ、以下のサイトではJUMAN++での分かち書きも一括してやってくれるような修正方法が載っていますので、これを真似したいと思います。

自然言語処理で注目のBERT ~取り敢えず動かしてみる編~ - Qiita
はじめに 業務にて自然言語処理に関わる事が多く、現在注目されているBERTに関して調べたのでまとめてみました。 ※様々な記事から勉強させて頂きましたので、随時引用させて頂いております。 前提事項 下記前提を踏まえた上で、記...

まず、公式のBERTではJUMAN++で分かち書きするようにはなっていませんので、JUMAN++で分かち書きする用のクラスを作成します。
以下のようにBERTプログラムのTokenizer.pyにJumanPPTokenizerクラスを追加します。

class JumanPPTokenizer(BasicTokenizer):
  def __init__(self):
    """Constructs a BasicTokenizer.
    """
    from pyknp import Juman

    self.do_lower_case = False
    self._jumanpp = Juman()

  def tokenize(self, text):
    """Tokenizes a piece of text."""
    text = convert_to_unicode(text.replace(' ', ''))
    text = self._clean_text(text)

    juman_result = self._jumanpp.analysis(text)
    split_tokens = []
    for mrph in juman_result.mrph_list():
      split_tokens.extend(self._run_split_on_punc(mrph.midasi))

    output_tokens = whitespace_tokenize(" ".join(split_tokens))
    print(split_tokens)
    return output_tokens

そして、FullTokenizerクラスを以下のように修正します。
これで、もともとのBasic Tokenizerを使うのではなく、先ほど作成したJumanTokenizerを使うようになります。

  def __init__(self, vocab_file, do_lower_case=True):
    self.vocab = load_vocab(vocab_file)
    self.inv_vocab = {v: k for k, v in self.vocab.items()}
    # jumanPPTokenizerを活用するように修正
    # self.basic_tokenizer = BasicTokenizer(do_lower_case=do_lower_case)
    self.jumanpp_tokenizer = JumanPPTokenizer()
    self.wordpiece_tokenizer = WordpieceTokenizer(vocab=self.vocab)

  def tokenize(self, text):
    split_tokens = []
    # for token in self.basic_tokenizer.tokenize(text):
    for token in self.jumanpp_tokenizer.tokenize(text):
      for sub_token in self.wordpiece_tokenizer.tokenize(token):
        split_tokens.append(sub_token)

最後に、run_classifier.pyのインプットデータの処理部分のプログラムを修正します。
BERTのプログラムでは、以下のようにCoLAやMNLIなどタスクによって処理方法を変えているので、そこに今回処理したいタスクを追加します。
今回は“nap”というタスクを設定し、そのタスクが指定された場合は“NapProcessor”を呼び出すようにします。ディクショナリの一番下に追加しています。

processors = {
      "cola": ColaProcessor,
      "mnli": MnliProcessor,
      "mrpc": MrpcProcessor,
      "xnli": XnliProcessor,
      "nap": NapProcessor, # 実行時に呼び出すtask_name : クラス名
  }

最後に先ほど定義した“NapProcessor”の処理を追加します。
これは、もとのCoLAなどの処理をもとにしています。学習データやテストデータを読み込むメソッド、ラベルを定義するメソッド、サンプルを整形するメソッド(_create_examplesメソッド)があります。
BERTでは、2つの文章をインプットすることも可能になっていますが今回は1文(1パラグラフ)だけの分類問題なので、_create_examplesで、text_bはNoneとします。

class NapProcessor(DataProcessor):
  """Processor for the original data set """
  def get_train_examples(self, data_dir):
    """See base class."""
    return self._create_examples(
        self._read_tsv(os.path.join(data_dir, "train.tsv")), "train")

  def get_dev_examples(self, data_dir):
    """See base class."""
    return self._create_examples(
        self._read_tsv(os.path.join(data_dir, "dev.tsv")), "dev")

  def get_test_examples(self, data_dir):
    """See base class."""
    return self._create_examples(
        self._read_tsv(os.path.join(data_dir, "test.tsv")), "test")

  def get_labels(self):
    """See base class."""
    # 分類するlabelの定義
    return ["1", "0"]

  def _create_examples(self, lines, set_type):
    """Creates examples for the training and dev sets."""
    examples = []
    print("lines = " + str(lines))
    for (i, line) in enumerate(lines):
      print(str(i) + "番目:" + str(line))
      if i == 0:
        continue
      guid = "%s-%s" % (set_type, i)
      # 入力となるテキストをtext_aに格納するように設定
      text_a = tokenization.convert_to_unicode(line[0])
      label = tokenization.convert_to_unicode(line[1])
      examples.append(
          InputExample(guid=guid, text_a=text_a, text_b=None, label=label))
    return examples

BERTの実行

あとは、引数を自分のディレクトリ構成などに合うように指定して、実行します。
1行目はパラメータを保存しているディレクトリを指定します。

# 任意のディレクトリのPATHを設定
export BERT_BASE_DIR=/Users/Desktop/Techcology/bert/Kyoto_Univ/Japanese_L-12_H-768_A-12_E-30_BPE

python run_classifier.py \
--task_name=komachi \
--do_train=true \
--do_eval=true \
--data_dir=./input_data/fine_tuning/nap \
--vocab_file=$BERT_BASE_DIR/vocab.txt \
--bert_config_file=$BERT_BASE_DIR/bert_config.json \
--init_checkpoint=$BERT_BASE_DIR/bert_model.ckpt \
--max_seq_length=128 \
--train_batch_size=32 \
--learning_rate=2e-5 \
--num_train_epochs=3.0 \
--output_dir=./output_data/fine_tuning/komachi \
--do_lower_case False

何か間違っていたのかもしれませんが、“bert_model.ckpt.がない!”と言われたら、ファイル名が“ model.ckpt.”になっているかもしれませんので、3つのファイル名をbert_model.ckpt.meta、 bert_model.ckpt.index、bert_model.ckpt.data-00000-of-00001にしてみてください。

結果

結果はテストデータで85.3%でした。Transformerの83.2%を約2.1%、CNNの83.9% を約1.4%上回りました。

どれだけ頑張ってもCNNを上回れませんでしたが、ようやく上回ることができました。

ただし、BERTの事前学習に使っているコーパスはWikipediaなので、口コミとは若干分布が違うのかなと思います(仕事で使用しているときは、もっと改善しましたので)。

では皆さんも是非一度は自分の手を動かしていただければと思います!




mm0824

システム開発会社や金融機関で統計や金融工学を使ったモデリング・分析業務を長く担当してきました。

現在はコンサルティング会社のデータ・サイエンティストとして機械学習、自然言語処理技術を使ったモデル構築・データ分析を担当しています。

皆様の業務や勉強のお役に立てれば嬉しいです。

mm0824をフォローする
データ分析実践
mm0824をフォローする
楽しみながら理解する自然言語処理入門

コメント

タイトルとURLをコピーしました