1. 支持向量機(jī)（SVM）是一種二分類(lèi)模型，其基本模型定義為特征空間上的間隔最大的線性分類(lèi)器。這類(lèi)分類(lèi)器的特點(diǎn)是他們能夠同時(shí)最小化經(jīng)驗(yàn)誤差與最大化幾何邊緣區(qū)，因此支持向量機(jī)也被稱(chēng)為最大邊緣區(qū)分類(lèi)器。SVM在很多諸如文本分類(lèi)、圖像分類(lèi)、生物序列分析和生物數(shù)據(jù)挖掘、手寫(xiě)字符識(shí)別等領(lǐng)域都有廣泛應(yīng)用。2. SVM將向量映射到一個(gè)更高維的空間，在這個(gè)空間里建立有一個(gè)最大間隔超平面。在分開(kāi)數(shù)據(jù)的超平面的兩邊建有兩個(gè)互相平行的超平面，分隔超平面使兩個(gè)平行超平面的距離最大化。假設(shè)平行超平面間的間隔距離或差距越大，分類(lèi)器的總誤差越小。3. SVM的學(xué)習(xí)策略是間隔最大化，最終可轉(zhuǎn)化為一個(gè)凸二次規(guī)劃問(wèn)題的求解。對(duì)于線性可分的訓(xùn)練數(shù)據(jù)集而言，線性可分分離超平面有無(wú)窮多個(gè)（等價(jià)于感知機(jī)），但是幾何間隔最大的分離超平面是唯一的。4. 對(duì)于線性不可分的情況，我們可以用核函數(shù)讓空間從原本的線性空間變成一個(gè)更高維的空間，在這個(gè)高維的線性空間下，再用一個(gè)超平面進(jìn)行劃分。此外，還有一種方式是用直線，不過(guò)不用去保證可分性，就是包容那些分錯(cuò)的情況，不過(guò)我們得加入懲罰函數(shù)，使得點(diǎn)分錯(cuò)的情況越合理越好。5. 支持向量機(jī)的學(xué)習(xí)問(wèn)題可以形式化為求解凸二次規(guī)劃問(wèn)題。這樣的凸二次規(guī)劃問(wèn)題具有全局最優(yōu)解，并且有許多最優(yōu)化算法可以用于這一問(wèn)題的求解。但是當(dāng)訓(xùn)練樣本容量很大時(shí)，這些算法往往變得非常低效，以致無(wú)法使用。因此，如何高效地實(shí)現(xiàn)支持向量機(jī)學(xué)習(xí)就成為一個(gè)重要的問(wèn)題。目前人們已提出許多快速實(shí)現(xiàn)算法，本節(jié)講述其中的序列最小最優(yōu)化(SMO)算法。6. 序列最小最優(yōu)化算法(SMO)可以高效地求解上述SVM問(wèn)題，它把原始求解N個(gè)參數(shù)二次規(guī)劃問(wèn)題分解成很多個(gè)子二次規(guī)劃問(wèn)題分別求解，每個(gè)子問(wèn)題只需要求解2個(gè)參數(shù)，方法類(lèi)似于坐標(biāo)上升，節(jié)省時(shí)間成本和降低了內(nèi)存需求。每次啟發(fā)式選擇兩個(gè)變量進(jìn)行優(yōu)化，不斷循環(huán)，直到達(dá)到函數(shù)最優(yōu)值。7. 整個(gè)SMO算法包括兩部分，求解兩個(gè)變量的二次規(guī)劃和選擇這兩個(gè)變量的啟發(fā)式方法。詳情