rvm核參數(shù)的遺傳算法優(yōu)化方法
李剛1。2，王貴龍1，薛惠鋒2
l西安工業(yè)大學經(jīng)管學院，陜西西安710032；2西北工業(yè)大學自動化學院，陜西西安710072
摘 要：核函數(shù)的參數(shù)嚴懲影響rvm的綜合性能。為求得稀疏解、避免過擬舍，提出使用遺傳算法針對問題背景自動優(yōu)化核函數(shù)的參數(shù)：在適壓度函數(shù)評判下，種群經(jīng)過選擇、交叉和變異選代進化，高效率地得到****解，在定義rvm回歸性能綜合評判批準fitness作為適應度函數(shù)的基礎上，使用11atlab遺傳算法工具箱和改進的tipping程序獲取slne數(shù)據(jù)****核函數(shù)參數(shù)，實驗證明遺傳算法可以高效準備地優(yōu)化rvm核參數(shù)，特別對于具有較多參數(shù)的核函數(shù)更具實用性。
關鍵詞：關聯(lián)向量機；核函數(shù)參數(shù)；綜合評判標準；遺傳算法
中圖分類號：tp 27 文獻標識碼：a
1引言
rvm（關聯(lián)向量機）是michael e tipping于2001年提出的一種建立在支持向量機( svm)之上的稀疏貝葉斯統(tǒng)計學習方法。它的訓練是在貝葉斯框架下進行的，可以用它進行回歸及分類模式分析。rvm克服svm缺點：rvm的關聯(lián)向量數(shù)要少于svm，具有更優(yōu)的泛化性能；可以得到點估計及區(qū)間估計；無需多次試驗找到****的類似于c或s的主觀設置值。與svm類似的是rvm也使用核方法，將自變量映射到高維空間，得到因變量與自變量線性回歸的稀疏解，但核函數(shù)參數(shù)嚴重影響rvm的性能，如何方便快捷地找到綜合性能****的核函數(shù)參數(shù)目前尚無解析解理論指導，由于rvm的分類功能建立在回歸的基礎之上，目前，rvm算法在模式識別、回歸估計、概率密度函數(shù)估計等方面有廣泛應用。例如，在模式識別方面，對于手寫數(shù)字識別、語音識別、人臉圖像識別、文章分類等問題。本文嘗試使用遺傳算法獲取回歸綜合性能****的核參數(shù)數(shù)值解。
2 rvm模型
統(tǒng)計學習理論是一種專門研究小樣本情況下機器學習規(guī)律的理論。該理論針對小樣本統(tǒng)計問題建立了一套新的理論體系，在這種體系下的統(tǒng)計推理規(guī)則不僅考慮了對漸近性能的要求，而且追求在現(xiàn)有有限信息的條件下得到****結果。模式分析研究的是如何自動檢測和辨識數(shù)據(jù)中潛在的關系，人  為保證獲取稀疏解，令。，滿足零均值正態(tài)分布：p（wi，αi）=n（wi| 0，αi-1），訓練樣本集的似然函數(shù)為
根據(jù)先驗概率分布和似然分布，再用貝葉斯式計算權值的后驗概率分布，即：
而該權值的后驗分布屬于多變量高斯分布，即：
訓練目標值的似然分布通過對權值變量進行積分，即
實現(xiàn)邊緣化，從而求得超參數(shù)的邊緣似然分布：
rvm方法中的模型權值的估計值由后驗分布的均值給出，同時它也是權值的****后驗( map)估計。權值的map估計取決于超參數(shù)和噪聲方差，估計值α和σ2可以通過****化邊緣似然分布得到。后驗分布反映出的權值****值的不確定性，可以表示模型預測的不確定性。若給定輸入值x，相應輸出的概率分布為
服從高斯分布的形式，即：
3 rvm回歸性能與核函數(shù)參數(shù)
tipping用第二類極大似然法給出了matlah實驗程序，本文在此基礎上展開研究。給定一個核和一個訓練集合，就能構成一個核矩陣k(xi，xj)，這個矩陣起著信息瓶頸的作用，因為它 |
