Maszyny wektorów podpierających¶

Maszyny wektorów podpierających SVM (ang. Supprot Vector Machine) stanowią stosunkowo młode i bardzo efektywne podejście do rozwiązania zadania klasyfikacji. Metoda ta została zaproponowana przez V. Vapnika [Vapnik1998], [Vapnik2000]. W podstawowej postaci algorytm ten jest klasyfikatorem liniowym i jest podawany dla zadania dychotomii (przypadek dwóch klas). Oznacza to, że pozwala na rozwiązywanie problemów klasyfikacyjnych dla \(K=2\) klas a jego powierzchnia decyzyjna jest hiperpłaszczyzną.

Istnieje również możliwość rozwiązywania problemów wieloklasowych przy użyciu SVM poprzez budowę wielu klasyfikatorów binarnych oraz zastosowanie odpowiedniego schematu głosowania, tego przypadku jednak nie będziemy omawiać.

Podamy postać algorytmu SVM dla przypadku liniowo separowalnego, a zatem liniowego dla zbiorów uczących dla których istnieje hiperpłaszczyzna rozdzielająca pozwalająca na poprawną klasyfikację wszystkich elementów zbioru uczącego. Przypadek liniowy zostanie następnie uogólniony na przypadek zbiorów liniowo nieseparowalnych, podamy również nieliniową wersję klastfikatora SVM pozwalającą na generowanie powierzchni rozdzielających o charakterze nieliniowym.