通過(guò)上篇文章的學(xué)習(xí)，我們知道，相比于單個(gè)核函數(shù)，多核模型可以具有更高的靈活性。經(jīng)過(guò)多個(gè)核函數(shù)映射后的高維空間是由多個(gè)特征空間組合而成的組合空間，而顯然組合空間可以組合各個(gè)子空間不同的特征映射能力，能夠?qū)悩?gòu)數(shù)據(jù)中的不同特征分量分別通過(guò)最合適的單個(gè)核函數(shù)進(jìn)行映射，最終使得數(shù)據(jù)在新的組合空間中能夠得到更加準(zhǔn)確、合理的表達(dá)，進(jìn)而提高樣本數(shù)據(jù)的分類(lèi)正確率或預(yù)測(cè)精度。

多核學(xué)習(xí)方法根據(jù)不同的分類(lèi)標(biāo)準(zhǔn)有不同的分類(lèi)方式，按照多核函數(shù)的構(gòu)造方法和特點(diǎn)的不同，可以將多核學(xué)習(xí)方法大致分成三大類(lèi)別：合成核方法、多尺度核方法、無(wú)限核方法。

一、合成核方法

把具有不同特性的多個(gè)核函數(shù)進(jìn)行組合，就會(huì)得到包含各個(gè)單核函數(shù)的總體特性的多核函數(shù)。多核函數(shù)形成的方式本身就使得多核函數(shù)具有更加準(zhǔn)確、更加強(qiáng)大的映射能力或者分類(lèi)能力，特別是對(duì)于實(shí)際應(yīng)用中樣本數(shù)據(jù)具有比較復(fù)雜分布結(jié)構(gòu)的分類(lèi)、回歸等學(xué)習(xí)問(wèn)題，多核學(xué)習(xí)的優(yōu)點(diǎn)非常明顯。

（1）多核線性組合合成方法

多核線性組合方法是將基本核函數(shù)進(jìn)行線性組合，用表達(dá)式可以如下所示描述：

假設(shè)變量 x,z ∈X，其中 X 屬于 R（n）空間，非線性函數(shù)Φ能夠?qū)崿F(xiàn)輸入空間 X到特征空間 F 的映射，其中 F ∈R（m），m>>n。假設(shè)已知的基本核函數(shù)為k (x,z) ，再將其進(jìn)行歸一化為?k(x,z)，則可以通過(guò)以下方式進(jìn)行線性組合得到多核函數(shù)：

直接求和核其中， 其中 ?k(x,z) 為第 i 個(gè)基本核函數(shù)。

加權(quán)求和核，其中βi為第 i 個(gè)核函數(shù)的權(quán)值。

多項(xiàng)式加權(quán)擴(kuò)展核，其中kp(x,z)是k (x,z) 的多項(xiàng)式擴(kuò)展。

（2）多核擴(kuò)展合成方法

上述描述的多核組合方法主要是基于將基本核函數(shù)直接求和或者加權(quán)求和的思想實(shí)現(xiàn)多個(gè)核函數(shù)的結(jié)合，但這樣的方法最大的問(wèn)題是可能丟失原始數(shù)據(jù)的某些特征信息，比如數(shù)據(jù)分布的某塊區(qū)域包含很多信息并且是多變的，當(dāng)使用平均或者加權(quán)平均的方式將該部分?jǐn)?shù)據(jù)“平滑”之后，能夠表示多變信息的數(shù)據(jù)很有可能被不用的核函數(shù)給平滑掉，有可能導(dǎo)致最終的特征信息不完整，降低分類(lèi)器的分類(lèi)能力和準(zhǔn)確性，基于上述考慮，產(chǎn)生了將原有多核矩陣進(jìn)行擴(kuò)展合成的方法，也就是最終能夠使用的多核矩陣是由原先的單個(gè)核矩陣和其核矩陣共同構(gòu)成的。因此, 原始核函數(shù)的性質(zhì)得以保留。該合成核矩陣的形式為：

可以看出, 原始核矩陣位于新矩陣的對(duì)角線上. 其他所有元素是定義為 (Kp,p0)i,j= Kp,p0(xi , xj ) 的兩個(gè)不同核矩陣的混合, 可由如下公式求得 (以?xún)蓚€(gè) 高斯核為例):

很明顯,當(dāng)p = p 0 時(shí), Kp,p ≡ Kp.實(shí)驗(yàn)結(jié)果顯示,當(dāng)數(shù)據(jù)集具有變化的局部數(shù)據(jù)分布時(shí),這種合成核方法將是更好的選擇.此外, 通常核組合方法在很大程度上依靠訓(xùn)練數(shù)據(jù),并且必須通過(guò)學(xué)習(xí)獲取一些權(quán)系數(shù),以標(biāo)識(shí)每個(gè)核的重要性.

（3）非平穩(wěn)多核學(xué)習(xí)

前邊的多核線性組合方法都是對(duì)核函數(shù)的平穩(wěn)組合, 即對(duì)所有輸入樣本, 不同的核對(duì)應(yīng)的權(quán)值是不變的, 無(wú)形中對(duì)樣本進(jìn)行了一種平均處理.Lewis 提出了一種多核的非平穩(wěn)組合方法, 對(duì)每個(gè)輸入樣本配以不同的權(quán)值系數(shù).如常規(guī) SVM判別函數(shù)為：

引入不同的加權(quán)系數(shù), 典型的合成核 SVM 的判別函數(shù)可以改寫(xiě)為：

在最大熵判別框架下, 通過(guò)使用一種大間隔隱變量生成模型, 使得隱參數(shù)估計(jì)問(wèn)題可以通過(guò)變化邊界和一個(gè)內(nèi)點(diǎn)優(yōu)化過(guò)程來(lái)表示, 并且相應(yīng)的參數(shù)估計(jì)可以通過(guò)快速的序列最小優(yōu)化算法實(shí)現(xiàn)。

（4）局部多核學(xué)習(xí)

針對(duì)多核學(xué)習(xí)在整個(gè)輸入空間中對(duì)某個(gè)核都是分配相同權(quán)值的問(wèn)題, 利用一種選通模型 (Gating model) 局部地選擇合適核函數(shù), 提出了一種局部多核學(xué)習(xí)算法. 在SVM 框架下, 其判別函數(shù)形如:

這里的vm 和vm0 是選通模型參數(shù), 可以在多核學(xué)習(xí)過(guò)程中通過(guò)梯度下降法獲得.將局部選通模型和基于核的分類(lèi)器相結(jié)合,優(yōu)化問(wèn)題可以用一種聯(lián)合的方式加以解決。

二、多個(gè)尺度的多核學(xué)習(xí): 多尺度核方法

合成核方法雖然有了一些成功應(yīng)用,但都是根據(jù)簡(jiǎn)單核函數(shù)的線性組合, 生成滿(mǎn)足Merce條件的新核函數(shù);核函數(shù)參數(shù)的選擇與組合沒(méi)有依據(jù)可循,對(duì)樣本的不平坦分布仍無(wú)法圓滿(mǎn)解決,限制了決策函數(shù)的表示能力。在此情況下,出現(xiàn)了多核學(xué)習(xí)的一種特殊化情形,即將多個(gè)尺度的核進(jìn)行融合。這種方法更具靈活性, 并且能比合成核方法提供更完備的尺度選擇.此外,隨著小波理論、多尺度分析理論的不斷成熟與完善,多尺度核方法通過(guò)引入尺度空間,使其具有了很好的理論背景。

多尺度核方法的基礎(chǔ)就是要找到一組具有多尺度表示能力的核函數(shù). 在被廣泛使用的核函數(shù)中, 高斯徑向基核是最受歡迎的, 因?yàn)樗鼈兙哂型ㄓ闷毡榈慕颇芰?同時(shí)它也是一種典型的可多尺度化核. 以此核為例,將其多尺度化 (假設(shè)其具有平移不變性):

其中, σ1 < · · · < σm. 可以看出, 當(dāng)σ較小時(shí), SVC可以對(duì)那些劇烈變化的樣本進(jìn)行分類(lèi); 而當(dāng)σ較大 時(shí), 可以用來(lái)對(duì)那些平緩變化的樣本進(jìn)行分類(lèi), 能得到更優(yōu)的泛化能力. 具體實(shí)現(xiàn)時(shí),σ的取值可以借鑒 小波變換中尺度變化的規(guī)律, σ可由下式定義:

對(duì)多尺度核的學(xué)習(xí)方法：

很直觀的思路就是進(jìn)行多尺度核的序列學(xué)習(xí). 多尺度核序列合成方法。簡(jiǎn)單理解就是先用大尺度核擬合對(duì)應(yīng)決策函數(shù)平滑區(qū)域的樣本, 然后用小尺度核擬合決策函數(shù)變化相對(duì)劇烈區(qū)域的樣本, 后面的步驟利用前面步驟的結(jié)果,進(jìn)行逐級(jí)優(yōu)化,最終得到更優(yōu)的分類(lèi)結(jié)果?？紤]一個(gè)兩尺度核 k1 和 k2 合成的分類(lèi)問(wèn)題. 我們要得到合成的決策函數(shù):

設(shè)想k1是一個(gè)大尺度的核函數(shù)(如σ較大的徑 向基函數(shù)),相關(guān)的核項(xiàng)系數(shù) αi 選擇那些決策函數(shù)f(x)光滑區(qū)域?qū)?yīng)的支持向量而k2是小尺度核函數(shù),核項(xiàng)系數(shù)βi選擇那些決策函數(shù)f(x)劇烈變化區(qū)域?qū)?yīng)的支持向量.具體方法是: 首先通過(guò)大尺度的單核 k1 構(gòu)造函數(shù)f1(x),這樣,該函數(shù)可以很好地?cái)M合光滑區(qū)域,但在其他地方存在顯著誤差,可以使用相對(duì)較小的松弛因子來(lái)求取αi;然后,在 f1(x)基礎(chǔ)上使用小尺度的核 k2 構(gòu)造 f2(x), 使得聯(lián)合函數(shù) f1(x) + f2(x)比f(wàn)1(x) 具有更好的擬合性能.這種方法實(shí)際上是多次使用二次規(guī)劃以實(shí)現(xiàn)參數(shù)的獲取,運(yùn)算復(fù)雜度較高, 同時(shí)支持向量的數(shù)量大量增加。

三、從有限向無(wú)限核的擴(kuò)展 : 無(wú)限核方法

合成核與多尺度核方法都是在有限個(gè)核函數(shù)線性組合前提下加以討論的。但對(duì)一些大規(guī)模問(wèn)題,基于有限個(gè)核的多核處理方法不一定有效,多核融合的決策函數(shù)的表示能力也不能達(dá)到處處最優(yōu)。 此外,在一個(gè)多尺度核函數(shù)族中, 有限個(gè)核函數(shù)的選 擇并不唯一,并且其不能完備地表征這個(gè)核函數(shù)族.因此,將有限核向無(wú)限核的擴(kuò)展也是一個(gè)重要的方向。

無(wú)限核是從由多個(gè)基本核函數(shù)的合法集合所構(gòu)成的一個(gè)凸殼中找到某個(gè)核,使其能最小化凸正則化函數(shù).與其他方法相比,這個(gè)方法有一個(gè)獨(dú)有的特征,即上述基本核的個(gè)數(shù)可以是無(wú)限多個(gè), 僅僅需要這些核是連續(xù)參數(shù)化的.此外，用半無(wú)限規(guī)劃解決來(lái)自通用核類(lèi)型的核函數(shù)學(xué)習(xí)問(wèn)題。

IKL 可以比SVM/MKL 大大提高分類(lèi)正確率, 在這些情況下,IKL 能保持它的實(shí)用性, 而交叉驗(yàn)證和 MKL 都是不實(shí)用的。