自然言語処理で、レビューの識別やってみた！その１【図解速習DeepLearning】#012
こんにちは！こーたろーです。
本日からは【図解速習DEEP LEARNING】の自然言語処理を行っていきます！
自然言語処理の第１回目は、映画情報サイトにあるレビューの識別（その１）をやっていきます。
IMDB（http://www.imdb.com/）という映画情報サイトのレビューを用いて、映画に対して好意的か、否かを判別していきます。
学習データとしては、文章と正解ラベル（ポジティブ：０、ネガティブ：１）を与える教師あり学習を行って、推論を行います。
モデルは、Embedding層（分散表現を行う層）＋MLP（多層パーセプトロン）を活用していきます。
それでは、早速始めていきます。
１．必要なライブラリーのインポート
import tensorflow as tf from tensorflow import keras import numpy as np import matplotlib.pyplot as plt
２．データセットのダウンロード
keras.datasetsの中に、imdbのデータが既に格納されているため、そこから取り出します。
imdb = keras.datasets.imdb
(train_data, train_labels), (test_data, test_labels) = imdb.load_data(num_words=10000)
データセットの中身を確認してみます。
print("Training entries: {}, labels: {}".format(len(train_data), len(train_labels)))
テキストデータ（英単語）は、辞書型で単語毎に整数値で変換されています。
そのため、文章をデータで確認すると以下のようになっています。
print(train_data[0])
train_data[0]に格納されている文章が、単語に対応する数字として、配列の中に入っています。
整数値に対応する単語を、辞書から取り出して、文章を確認してみます。
word_index = imdb.get_word_index()
word_index = {k:(v+3) for k,v in word_index.items()}
word_index["<PAD>"] = 0
word_index["<START>"] = 1
word_index["<UNK>"] = 2
word_index["<UNUSED>"] = 3
reverse_word_index = dict([(value, key) for (key, value) in word_index.items()])
def decode_review(text):
return ' '.join([reverse_word_index.get(i, '?') for i in text])
get_word_index() メソッドを使って、整数値・単語変換の関数を定義します。
decode_review(train_data[0])
３．データの前処理
文章を、ネットワークへ入力する前に、テンソルに変換を行います。
今回は、全て同じ長さになるように、配列をパディングしてから、「max_length」×「num_reviews」の形状をもつテンソルを作成します。
pad_sewuences() メソッドを使うことで、長さを標準化していきます。
train_data = keras.preprocessing.sequence.pad_sequences(train_data,
value=word_index["<PAD>"],
padding='post',
maxlen=256)
test_data = keras.preprocessing.sequence.pad_sequences(test_data,
value=word_index["<PAD>"],
padding='post',
maxlen=256)
len(train_data[0]), len(train_data[1])
256×256のテンソルを作成しました。
中身を確認すると
print(train_data[0])
４．モデルを作成
前述の通り、今回はEmbedding層をとおして、MLPで出力させます。
kerasのSequentialを用いて構成していきます。
出力は、０・１の値を出力させていきます。
vocab_size = 10000 model = keras.Sequential() model.add(keras.layers.Embedding(vocab_size, 16)) model.add(keras.layers.GlobalAveragePooling1D()) model.add(keras.layers.Dense(16, activation=tf.nn.relu)) model.add(keras.layers.Dense(1, activation=tf.nn.sigmoid)) model.summary()
モデルをコンパイルしていきます。
出力が二項分類問題ですので、損失関数は、「binary_crossentropy」を用います。
model.compile(optimizer=tf.compat.v1.train.AdamOptimizer(),
loss='binary_crossentropy',
metrics=['accuracy'])
５．モデルの学習
モデルを学習させるためのデータセットを準備していきます。
x_val = train_data[:10000] partial_x_train = train_data[10000:] y_val = train_labels[:10000] partial_y_train = train_labels[10000:]
データセットを用いて、学習を行っていきます。
history = model.fit(partial_x_train,
partial_y_train,
epochs=40,
batch_size=512,
validation_data=(x_val, y_val),
verbose=1)
・
・
・
６．モデルの評価
今回は、検証データの正解があるため、accuracyが評価となります。
results = model.evaluate(test_data, test_labels)
print(results)
学習中のaccuracyとlossをhistoryから呼び出し、表示してみます。
acc = history.history['accuracy'] val_acc = history.history['val_accuracy'] loss = history.history['loss'] val_loss = history.history['val_loss'] epochs = range(1, len(acc) + 1) plt.plot(epochs, loss, 'bo', label='Training loss') plt.plot(epochs, val_loss, 'b', label='Validation loss') plt.title('Training and validation loss') plt.xlabel('Epochs') plt.ylabel('Loss') plt.legend() plt.show()
acc_values = history_dict['accuracy'] val_acc_values = history_dict['val_accuracy'] plt.plot(epochs, acc, 'bo', label='Training acc') plt.plot(epochs, val_acc, 'b', label='Validation acc') plt.title('Training and validation accuracy') plt.xlabel('Epochs') plt.ylabel('Accuracy') plt.legend() plt.show()
エポックが20回を超えてくると、検証データとトレーニングデータで、差が出始めます。
過学習の傾向がみられていることになります。
汎化性能としては、85%以上の正解率が得られることが分かりました。
結構低い？のかな？ そのあたりは、追い追い学習しながら確認していけたらなと思います。
引き続き、自然言語やっていきますので、お楽しみに！
ではでは。。
