貝葉斯非參數模型關于隨機事件A和B的條件概率或邊緣概率的一則定理。其中P(A|B)是在B發生的情況下A發生的可能性。
用Ph表示在沒有訓練數據前假設h擁有的初始概率。Ph被稱為h的先驗概率。先驗概率反映了關于h是一正確假設的機會的背景知識如果沒有這一先驗知識。
可以簡單地將每一候選假設賦予相同的先驗概率。PD表示訓練數據D的先驗概率,PD表示假設h成立時D的概率。機器學習中,我們關心的是Ph,即給定D時h的成立的概率,稱為h的后驗概率。
舉例說明:
問題:假定有一個新病人,化驗結果為正,是否應將病人斷定為有癌癥。求后驗概率Pcancer+和Pcancer+。
因此極大后驗假設計算如下:
P+cancerPcancer=0.0078。
P+cancerPcancer=0.0298。
hMAP=cancer。
確切的后驗概率可將上面的結果歸一化以使它們的和為1。
貝葉斯推理的結果很大程度上依賴于先驗概率,另外不是完全接受或拒絕假設,只是在觀察到較多的數據后增大或減小了假設的可能性。