> 付費(fèi)閱讀 > 高維統(tǒng)計(jì)與泛化理論
聯(lián)系我們提醒您:讓你提前匯款,或者價(jià)格明顯低于市價(jià),均有騙子嫌疑,不要輕易相信。
現(xiàn)代人工智能模型(如深度神經(jīng)網(wǎng)絡(luò))通常呈現(xiàn)參數(shù)量遠(yuǎn)超樣本量的過參數(shù)化特性,但依然能泛化良好,這一現(xiàn)象似乎與傳統(tǒng)統(tǒng)計(jì)學(xué)習(xí)理論(如VC維)矛盾。如何解開“深度學(xué)習(xí)泛化之謎”,即為什么過參數(shù)化模型不會(huì)嚴(yán)重過擬合?如何處理隱式正則化問題,如SGD等優(yōu)化方法本身是否隱含正則化效應(yīng)? 要解決這些問題,需要的相關(guān)數(shù)學(xué)工具主要包括如下幾種: (1)Rademacher復(fù)雜度、PAC學(xué)習(xí)理論。 (2)隨機(jī)矩陣?yán)碚摗? (3)信息瓶頸理論。
查看全部 請(qǐng)掃碼付款 1元