福岡の社会人データサイエンティストの部屋

データサイエンスを極めるため、日々の学習を綴っています。

自然言語処理で、レビューの識別やってみた!その1【図解速習DeepLearning】#012

こんにちは!こーたろーです。

本日からは【図解速習DEEP LEARNING】の自然言語処理を行っていきます!


自然言語処理の第1回目は、映画情報サイトにあるレビューの識別(その1)をやっていきます。

IMDBhttp://www.imdb.com/)という映画情報サイトのレビューを用いて、映画に対して好意的か、否かを判別していきます。

学習データとしては、文章と正解ラベル(ポジティブ:0、ネガティブ:1)を与える教師あり学習を行って、推論を行います。

モデルは、Embedding層(分散表現を行う層)+MLP(多層パーセプトロン)を活用していきます。



それでは、早速始めていきます。



1.必要なライブラリーのインポート

import tensorflow as tf
from tensorflow import keras
import numpy as np
import matplotlib.pyplot as plt



2.データセットのダウンロード

keras.datasetsの中に、imdbのデータが既に格納されているため、そこから取り出します。

imdb = keras.datasets.imdb

(train_data, train_labels), (test_data, test_labels) = imdb.load_data(num_words=10000)


f:id:dsf-kotaro:20210208205315p:plain





データセットの中身を確認してみます。

print("Training entries: {}, labels: {}".format(len(train_data), len(train_labels)))


f:id:dsf-kotaro:20210208205344p:plain


テキストデータ(英単語)は、辞書型で単語毎に整数値で変換されています。

そのため、文章をデータで確認すると以下のようになっています。

print(train_data[0])


f:id:dsf-kotaro:20210208205414p:plain


train_data[0]に格納されている文章が、単語に対応する数字として、配列の中に入っています。



整数値に対応する単語を、辞書から取り出して、文章を確認してみます。

word_index = imdb.get_word_index()


word_index = {k:(v+3) for k,v in word_index.items()} 
word_index["<PAD>"] = 0
word_index["<START>"] = 1
word_index["<UNK>"] = 2  
word_index["<UNUSED>"] = 3

reverse_word_index = dict([(value, key) for (key, value) in word_index.items()])

def decode_review(text):
    return ' '.join([reverse_word_index.get(i, '?') for i in text])

get_word_index() メソッドを使って、整数値・単語変換の関数を定義します。

decode_review(train_data[0])


f:id:dsf-kotaro:20210208205557p:plain



3.データの前処理


文章を、ネットワークへ入力する前に、テンソルに変換を行います。

今回は、全て同じ長さになるように、配列をパディングしてから、「max_length」×「num_reviews」の形状をもつテンソルを作成します。


pad_sewuences() メソッドを使うことで、長さを標準化していきます。


train_data = keras.preprocessing.sequence.pad_sequences(train_data,
                                                        value=word_index["<PAD>"],
                                                        padding='post',
                                                        maxlen=256)

test_data = keras.preprocessing.sequence.pad_sequences(test_data,
                                                       value=word_index["<PAD>"],
                                                       padding='post',
                                                       maxlen=256)
len(train_data[0]), len(train_data[1])


f:id:dsf-kotaro:20210208205633p:plain


256×256のテンソルを作成しました。

中身を確認すると

print(train_data[0])


f:id:dsf-kotaro:20210208205659p:plain



4.モデルを作成


前述の通り、今回はEmbedding層をとおして、MLPで出力させます。
kerasのSequentialを用いて構成していきます。

出力は、0・1の値を出力させていきます。

vocab_size = 10000

model = keras.Sequential()

model.add(keras.layers.Embedding(vocab_size, 16))
model.add(keras.layers.GlobalAveragePooling1D())
model.add(keras.layers.Dense(16, activation=tf.nn.relu))
model.add(keras.layers.Dense(1, activation=tf.nn.sigmoid))

model.summary()


f:id:dsf-kotaro:20210208205733p:plain


モデルをコンパイルしていきます。
出力が二項分類問題ですので、損失関数は、「binary_crossentropy」を用います。

model.compile(optimizer=tf.compat.v1.train.AdamOptimizer(),
              loss='binary_crossentropy',
              metrics=['accuracy'])



5.モデルの学習


モデルを学習させるためのデータセットを準備していきます。

x_val = train_data[:10000]
partial_x_train = train_data[10000:]

y_val = train_labels[:10000]
partial_y_train = train_labels[10000:]

データセットを用いて、学習を行っていきます。

history = model.fit(partial_x_train,
                    partial_y_train,
                    epochs=40,
                    batch_size=512,
                    validation_data=(x_val, y_val),
                    verbose=1)

f:id:dsf-kotaro:20210208205823p:plain



f:id:dsf-kotaro:20210208205839p:plain



6.モデルの評価

今回は、検証データの正解があるため、accuracyが評価となります。

results = model.evaluate(test_data, test_labels)

print(results)

f:id:dsf-kotaro:20210208205929p:plain



学習中のaccuracyとlossをhistoryから呼び出し、表示してみます。

acc = history.history['accuracy']
val_acc = history.history['val_accuracy']
loss = history.history['loss']
val_loss = history.history['val_loss']

epochs = range(1, len(acc) + 1)


plt.plot(epochs, loss, 'bo', label='Training loss')

plt.plot(epochs, val_loss, 'b', label='Validation loss')

plt.title('Training and validation loss')
plt.xlabel('Epochs')
plt.ylabel('Loss')
plt.legend()

plt.show()


f:id:dsf-kotaro:20210208210019p:plain


acc_values = history_dict['accuracy']
val_acc_values = history_dict['val_accuracy']

plt.plot(epochs, acc, 'bo', label='Training acc')
plt.plot(epochs, val_acc, 'b', label='Validation acc')
plt.title('Training and validation accuracy')
plt.xlabel('Epochs')
plt.ylabel('Accuracy')
plt.legend()

plt.show()


f:id:dsf-kotaro:20210208210048p:plain



エポックが20回を超えてくると、検証データとトレーニングデータで、差が出始めます。
過学習の傾向がみられていることになります。

汎化性能としては、85%以上の正解率が得られることが分かりました。

結構低い?のかな? そのあたりは、追い追い学習しながら確認していけたらなと思います。


引き続き、自然言語やっていきますので、お楽しみに!


ではでは。。