誤差逆伝播法 | ディープラーニングの基礎 | AIエンジニアに転職して年収アップガイド

誤差逆伝播法によるニューラルネットワークの学習
まとめ

データサイエンティストの必須知識、「誤差逆伝播法 | ディープラーニングの基礎」について解説します。

誤差逆伝播法によるニューラルネットワークの学習

誤差逆伝播法の基本的な概念

誤差逆伝播法とは

誤差逆伝播法（Backpropagation）は、ニューラルネットワークを訓練する際の最も一般的な方法の一つです。この方法では、ネットワークの出力と目標との間の誤差を計算し、その誤差を逆向きにネットワークを通して伝播させ各重みの勾配を計算します。これにより、重みを調整し、モデルの予測精度が向上します。

順伝播と逆伝播

順伝播：入力データがニューラルネットワークの各層を通過し、最終的な出力を生成するプロセス。この際、各層のノード（ニューロン）での計算や活性化関数を適用することで、次の層への入力が生成されます。
逆伝播：ネットワークの出力と期待される出力との間の誤差を計算し、この誤差をネットワークの各層を逆向きに伝播させるプロセス。これにより、各重みの勾配が計算され、重みの更新が行われます。

勾配降下法との関連

誤差逆伝播法によって計算された勾配は、勾配降下法（Gradient Descent）やその変種（例：ミニバッチ勾配降下法、確率的勾配降下法、Adamなど）を使用して、重みの更新に利用されます。勾配はコスト関数（例：平均二乗誤差）が最小となる方向を示すため、この勾配を使って重みを適切に調整することで、モデルの性能が向上します。

計算グラフの利用

計算グラフは、計算のプロセスをグラフとして表現したものです。誤差逆伝播法では、計算グラフを使用して各操作の局所的な勾配を効率的に計算し、これを使って全体の勾配を求めます。例えば、加算や乗算などの基本的な操作ごとに局所的な勾配を求めることができ、これを組み合わせることで全体の勾配を効率的に計算できます。

ニューラルネットワークの学習プロセス

損失関数の定義

ニューラルネットワークの学習時には、出力の正確さを評価するための指標として「損失関数」（またはコスト関数）が用いられます。一般的な損失関数としては、平均二乗誤差や交差エントロピー誤差があります。これらの損失関数は、ネットワークの出力と真のラベルとの間の差を表す一つのスカラー値を返します。

例:
平均二乗誤差:
\[
L = \frac{1}{2} \sum (y_{\text{pred}} – y_{\text{true}})^2
\]

順伝播: 入力から出力へ

順伝播は、ニューラルネットワークに入力データを与えて出力を得るプロセスです。この際、各層のノード（ニューロン）での計算や活性化関数を適用することで、次の層への入力が生成されます。順伝播は、学習時だけでなく、学習後の推論時にも使用されます。

逆伝播: 出力から入力への勾配の計算

逆伝播は、ネットワークの出力と期待される出力との間の誤差を計算し、この誤差をネットワークの各層を逆向きに伝播させるプロセスです。この際、連鎖律を使用して、各重みに関する損失関数の勾配を計算します。これにより、次に説明するパラメータの更新の際に、各重みをどの方向にどれだけ修正するかの情報を得られます。

パラメータの更新

誤差逆伝播法によって得られた勾配を使用して、ネットワークのパラメータ（重みとバイアス）を更新します。この際、勾配降下法やその変種を使用することが一般的です。具体的には、以下のような更新式を使用します。

\[
W_{\text{new}} = W_{\text{old}} – \alpha \times \nabla W
\]

ここで、\( \alpha \)は学習率と呼ばれるハイパーパラメータで、\( \nabla W \)は重み\( W \)に関する損失関数の勾配です。

これらのステップを繰り返すことで、ニューラルネットワークは学習データに対して最適なパラメータを見つけ出すことができます。

誤差逆伝播法の数学的な背景

連鎖律の原理

連鎖律は、微分の基本的な性質の一つで、複数の関数が合成されているときの微分を計算する際に使用します。誤差逆伝播法における各層の勾配の計算は、この連鎖律を利用しています。

具体的には、関数\( y = f(u) \) と \( u = g(x) \) の合成関数の導関数は、以下のようになります。

\[
\frac{dy}{dx} = \frac{dy}{du} \cdot \frac{du}{dx}
\]

偏微分の計算

ニューラルネットワークにおける多くのパラメータは、多変数関数の形をとるため、偏微分を使用して勾配を計算します。例えば、損失関数\( L \)が重み\( w \)とバイアス\( b \)の関数として与えられるとき、偏微分は以下のように計算されます。

\[
\frac{\partial L}{\partial w}, \frac{\partial L}{\partial b}
\]

これらの偏微分の値は、重みとバイアスの更新の際にどれだけそのパラメータを変更すべきかの情報を提供します。

活性化関数とその導関数

活性化関数は、ニューラルネットワークの各ノードでの出力を非線形に変換する役割を持っています。誤差逆伝播法の過程で、これらの活性化関数の導関数（微分）の値が必要です。

例として、シグモイド関数を考えます。

\[
\sigma(x) = \frac{1}{1 + e^{-x}}
\]

この導関数は以下のようになります。

\[
\sigma'(x) = \sigma(x) (1 – \sigma(x))
\]

実践: Pythonでの誤差逆伝播法の実装

実践を通じて、ディープラーニングの学習メカニズムを理解しましょう。

ニューラルネットワークのクラス設計

ニューラルネットワークをクラスとして設計することで、構造や動作をモジュール化し、再利用や拡張が容易になります。

import numpy as np

class NeuralNetwork:
    def __init__(self, input_size, hidden_size, output_size):
        self.weights = {
            'W1': np.random.randn(input_size, hidden_size),
            'W2': np.random.randn(hidden_size, output_size)
        }
        self.biases = {
            'b1': np.zeros(hidden_size),
            'b2': np.zeros(output_size)
        }

順伝播の実装

順伝播は、入力から出力へのデータの流れを計算するプロセスです。

def sigmoid(x):
    return 1 / (1 + np.exp(-x))

def forward(self, x):
    self.z1 = np.dot(x, self.weights['W1']) + self.biases['b1']
    self.a1 = sigmoid(self.z1)
    self.z2 = np.dot(self.a1, self.weights['W2']) + self.biases['b2']
    self.a2 = sigmoid(self.z2)
    return self.a2

逆伝播の実装

逆伝播は、出力の誤差を入力方向へと伝えることで、各パラメータの勾配を計算するプロセスです。

def sigmoid_derivative(x):
    return x * (1 - x)

def backward(self, x, y, output):
    self.dz2 = output - y
    self.dW2 = np.dot(self.a1.T, self.dz2)
    self.db2 = np.sum(self.dz2, axis=0, keepdims=True)
    self.dz1 = np.dot(self.dz2, self.weights['W2'].T) * sigmoid_derivative(self.a1)
    self.dW1 = np.dot(x.T, self.dz1)
    self.db1 = np.sum(self.dz1, axis=0, keepdims=True)

学習のサンプルコード

学習プロセスでは、順伝播と逆伝播を繰り返し行い、勾配降下法を使用してパラメータを更新します。

def train(self, X_train, y_train, epochs=100, learning_rate=0.01):
    for epoch in range(epochs):
        output = self.forward(X_train)
        self.backward(X_train, y_train, output)

        # Update weights and biases
        self.weights['W1'] -= learning_rate * self.dW1
        self.weights['W2'] -= learning_rate * self.dW2
        self.biases['b1'] -= learning_rate * self.db1
        self.biases['b2'] -= learning_rate * self.db2

        if epoch % 10 == 0:
            loss = np.mean(-y_train * np.log(output) - (1 - y_train) * np.log(1 - output))
            print(f"Epoch {epoch}, Loss: {loss:.4f}")

このように、Pythonでニューラルネットワークとその学習プロセスを実装することは難しくありません。上記のサンプルコードを参考にしながら、自分の問題に合わせてカスタマイズしてみてください。

誤差逆伝播法の注意点と工夫

学習の途中で問題に直面することもあります。そのため、注意点と工夫を知ることが大切です。

学習率の設定

学習率は、ニューラルネットワークの学習速度を調整するパラメータです。学習率が大きすぎると学習が発散し、小さすぎると学習が遅くなる可能性があります。

固定学習率: 初めから終わりまで一定の学習率を使用します。
段階的減少: 一定のエポック数ごとに学習率を減少させます。
適応的学習率: 検証データのパフォーマンスに基づいて学習率を調整します。

勾配消失・勾配爆発の問題

ディープニューラルネットワークでは、勾配がとても小さくなる（勾配消失）またはとても大きくなる（勾配爆発）問題が発生することが知られています。

勾配消失: 活性化関数やその導関数の特性により、勾配がとても小さくなること。特に、シグモイド関数やtanh関数で問題となる。
勾配爆発: 特に深いネットワークで、勾配がとても大きくなること。

対策として、適切な重みの初期化や、ReLUのような活性化関数の使用が挙げられます。

初期値の設定方法

適切な重みの初期化は、学習の速度や収束性に大きな影響を与えます。

ザビエル初期化: 活性化関数がシグモイド関数やtanh関数の場合に推奨されます。
He初期化: ReLU関数を使用する場合に推奨されます。

これらの初期化方法は、特定の活性化関数との組み合わせで効果的です。

正則化とドロップアウト

過学習を防ぐためのテクニックとして、正則化やドロップアウトがあります。

正則化: モデルの重みにペナルティを追加することで、モデルの複雑さを制限します。
ドロップアウト: 学習中にランダムにノードを無効化（ドロップアウト）することで、モデルのロバスト性を向上させます。

これらのテクニックは、モデルの過学習を防ぐための有効な手段です。

まとめ

誤差逆伝播法は、ディープラーニングの学習プロセスの核心に位置するアルゴリズムです。適切な学習率の選択、勾配の問題への対策、適切な初期化、および正則化やドロップアウトの使用は、効果的な学習の鍵です。これらの知識を武器に、ディープラーニングのモデルを効果的に学習させ、高いパフォーマンスを達成しましょう。