サポートベクターマシン | 機械学習の基礎

サポートベクターマシンとは？

定義と概要

サポートベクターマシン（SVM）は、データの分類や回帰問題を解くための教師あり学習アルゴリズムの一つです。SVMは、特に高次元のデータや、特徴の数がサンプル数よりも多い場合に有効であると言われています。

分類問題において、SVMは2つのクラスを最もうまく分離する境界線（または境界面）を見つけることを目指します。この境界は「マージン」が最大となるように選ばれます。ここでの「マージン」とは、境界から最も近いデータポイント（サポートベクター）までの距離を指します。

\[
\text{マージン} = \frac{2}{| \mathbf{w} |}
\]

ここで、\(\mathbf{w}\) は境界の法線ベクトルです。

サポートベクターマシンの歴史

サポートベクターマシンは、1960年代にVladimir VapnikとAlexey Chervonenkisによって初めて考え出されましたが、その真価が認識されるようになったのは1990年代に入ってからです。特に1992年にVapnikとCorinna Cortesによってカーネルトリックが導入されたことで非線形のデータセットに対しても効果的に動作するようになり、その人気はさらに高まりました。

SVMは、理論的背景と高い汎化能力のため機械学習の分野で広く受け入れられ、多くの応用分野での成功例が報告されています。

サポートベクターマシンのメリット・デメリット

メリット

  1. 高次元のデータに強い: SVMは、特徴の数が多い高次元のデータセットでも良好に動作します。
  2. カーネルトリック: SVMはカーネルトリックを用いることで、非線形のデータセットでも高い性能を発揮します。
  3. マージン最大化: SVMは、データを分離する境界を決定する際にマージンを最大化することを目的としているため、過学習を抑制しやすい。
  4. 汎化性能: 上記の特性により、多くの場合で高い汎化性能を持っています。
  5. スパース性: 多くのサポートベクターが境界の決定に寄与するため、計算効率が向上する場合があります。

デメリット

  1. スケーリング: SVMはデータのスケーリングに敏感であり、前処理としてスケーリングが必要な場合が多い。
  2. 計算コスト: 大規模なデータセットや多くの特徴を持つデータセットに対しては、計算コストが高くなることがあります。
  3. ハイパーパラメータの調整: カーネルの選択や正則化のパラメータ、カーネルのパラメータなど、調整が必要なハイパーパラメータが多い。
  4. 直感的な理解: 一部のカーネル関数や高次元空間での動作は、直感的に理解するのが難しい場合があります。
  5. 確率的出力: SVMは確率的な出力を直接提供しないため、確率的な予測が必要な場合には適していない。

基本的な動作原理

マージンとは？

マージンとは、サポートベクターマシンで分類する境界線（または境界面）から、最も近いデータポイントまでの距離を指します。この距離が大きいほど、分類の確信度が高くなります。SVMは、このマージンを最大化するようにデータを分類する境界を学習します。

数学的には、マージンは次のように定義されます。

\[
\text{マージン} = \frac{2}{| \mathbf{w} |}
\]

ここで、\(\mathbf{w}\) は境界の法線ベクトルを示します。

サポートベクターとは？

サポートベクターは、SVMにおいて境界の近くに位置するデータポイントを指します。具体的には、これらのポイントは境界を定義する上でとても重要であり、マージンの計算にも関与します。サポートベクターが境界から離れると、マージンが大きくなります。

サポートベクターは、学習データの中から選ばれるため、全てのデータポイントがサポートベクターとは限りません。実際、大量のデータポイントの中でサポートベクターとなるデータは少数であり、これがSVMの計算効率を向上させる要因です。

ハードマージン vs ソフトマージン

ハードマージンとソフトマージンは、SVMの学習における2つのアプローチを示します。

  • ハードマージン: このアプローチは、データが完全に線形分離可能であると仮定しています。つまり、境界を引くことで2つのクラスを完全に分離できると考えます。しかし、現実のデータセットは完全に線形分離可能であるとは限らないため、このアプローチは限定的な使用に留まります。
  • ソフトマージン: 実際のデータセットはノイズを含むため、完全に線形分離することは難しいことが多いです。ソフトマージンアプローチは、完全な分離を犠牲にして、いくつかの誤分類を許容することでより柔軟にデータを分類します。これにより、過学習を防ぎつつ、未知のデータに対しても良好な性能を発揮します。

カーネルトリックとは？

カーネルトリックは、サポートベクターマシンの強力な特徴の一つです。非線形なデータを、高次元の空間に変換することで、線形分離可能にするテクニックです。カーネル関数を使用することで、実際に高次元への変換を計算することなく、高次元空間での内積を計算できます。

線形カーネル

線形カーネルは、もともとの特徴空間での内積をそのまま使用します。つまり、特徴空間に変換することなく、データを線形分離します。数式で表すと以下のようになります。

\[
K(\mathbf{x}, \mathbf{y}) = \mathbf{x}^T \mathbf{y}
\]

多項式カーネル

多項式カーネルは、元の特徴空間を高次元の多項式空間にマッピングします。数式で表すと以下のようになります。

\[
K(\mathbf{x}, \mathbf{y}) = (\gamma \mathbf{x}^T \mathbf{y} + r)^d
\]

ここで\( \gamma \)、\( r \)、および\( d \)はカーネルのハイパーパラメータです。

RBFカーネル

RBF（Radial Basis Function）カーネル、またはガウシアンカーネルは、とても広く使用されるカーネルの一つです。このカーネルは、無限次元の特徴空間にデータをマッピングします。数式で表すと以下のようになります。

\[
K(\mathbf{x}, \mathbf{y}) = \exp(-\gamma |\mathbf{x} – \mathbf{y}|^2)
\]

ここで、\( \gamma \)はカーネルのハイパーパラメータです。

カスタムカーネルの作成

カーネルは、基本的には2つのデータポイント間の類似度を計算する関数として考えることができます。そのため、特定の問題に合わせて、独自のカーネル関数を設計することも可能です。カスタムカーネルを作成する際には、正定値性などのカーネル関数としての条件を満たす必要があります。

カーネルトリックは、SVMが非線形なデータにも効果的に対応できる理由の一つです。

サポートベクターマシンの実際の利用シーン

分類問題

サポートベクターマシンはもともと二項分類問題のために設計されました。与えられたデータを二つのクラスに分類するタスクにとても適しています。カーネルトリックの利用により、線形分離不可能なデータに対しても高い性能を発揮します。

例：手書き数字の識別、テキストのセンチメント分析など。

回帰問題

サポートベクターマシンは、分類だけでなく回帰問題にも適用できます。これをサポートベクター回帰 (SVR) と呼びます。SVRは、与えられたデータ点を最もよく近似する関数を見つけることを目的としています。

例：株価の予測、家の価格の予測など。

外れ値検出

サポートベクターマシンは、外れ値の検出にも使用できます。これは、One-Class SVMとして知られています。このアプローチは、正常なデータのみを使用してモデルを訓練し、新しいデータポイントが正常か異常かを判断します。

例：クレジットカードの詐欺検出、ネットワーク侵入検出など。

サポートベクターマシンは、その柔軟性と高い性能により、多岐にわたるアプリケーションで広く使用されています。特に、カーネルトリックを使用することで、非線形なデータに対しても高い性能を発揮できます。

実際のコードでの実装方法

Pythonでの実装例

サポートベクターマシンは、Pythonの機械学習ライブラリ「scikit-learn」を使用して簡単に実装できます。以下に、分類問題のためのサポートベクターマシンの基本的な実装方法を示します。

必要なライブラリのインポート

import numpy as np
import matplotlib.pyplot as plt
from sklearn import datasets
from sklearn.model_selection import train_test_split
from sklearn.preprocessing import StandardScaler
from sklearn.svm import SVC
from sklearn.metrics import accuracy_score

データの準備

# データのロード
iris = datasets.load_iris()
X = iris.data[:, [2, 3]]
y = iris.target

# データの分割 (訓練データとテストデータ)
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.3, random_state=1, stratify=y)

# データの標準化
sc = StandardScaler()
sc.fit(X_train)
X_train_std = sc.transform(X_train)
X_test_std = sc.transform(X_test)

モデルの訓練

# SVMのモデルのインスタンスを作成
svm = SVC(kernel='linear', C=1.0, random_state=1)

# モデルの訓練
svm.fit(X_train_std, y_train)

予測と評価

# テストデータを用いて予測
y_pred = svm.predict(X_test_std)

# 予測の正確度の計算
accuracy = accuracy_score(y_test, y_pred)
print(f'Accuracy: {accuracy * 100:.2f}%')

コードの実行結果：

Accuracy: 97.78%

このコードは、線形SVMを使用してアヤメデータセットの分類問題を解決するための基本的な方法を示しています。カーネルトリックを使用する場合、kernel引数を'linear'から他の値（例：'rbf'）に変更するだけで、非線形SVMを使用できます。

まとめ

サポートベクターマシンは、分類、回帰、外れ値検出などの多岐にわたるタスクで高い性能を発揮する機械学習アルゴリズムです。特に、カーネルトリックを使用することで、非線形なデータセットに対しても効果的に動作します。Pythonのscikit-learnライブラリを使用することで、簡単にSVMのモデルを訓練し、予測できます。

コメントを残す

メールアドレスが公開されることはありません。 ※ が付いている欄は必須項目です

CAPTCHA


前の記事

回帰分析 | 機械学習の基礎

次の記事

決定木 | 機械学習の基礎