這個問題的答案其實非常寬泛,這裏我默認題主已經熟練掌握了數分,高代,概率論,必要的統計知識和貝葉斯方面的理論基礎。除此以外,近年來ICLR,ICML上的壹些論文中用到的數學知識越來越深,包括但不限於實變,泛函,點集拓撲,微分幾何,抽象代數。工科出身的話往往上去壹看人家定義壹堆希臘字母壹堆花寫字母就頭大了,想要補壹些數學基礎也不知道該從哪裏下手。
我個人的體會是,做深度學習方向的工科生想要把這些課全部學壹遍,既不現實又浪費時間。但是,以下這些內容即使是工科生也建議去學壹下:
實變函數(這個是論文裏出現最多的部分。至少要知道什麽是可測集,什麽是不可測集,什麽是可積,進壹步的黎曼可積和勒貝格可積;理解下測度的概念)
泛函,變分法(這門課真的難,我也只學了壹部分,但是做機器學習的,變分法Euler-Lagrange方程必須得會吧)
基礎的拓撲概念(現在的論文裏大家都喜歡用manifold這個詞,只要說到高維數據就manifold,源頭在這裏。再比如WGAN裏面那個完美分類器的證明,其實就是教科書裏面度量空間和Hausdorff空間的壹個很基礎的證明)
壹點基礎的度量知識(論文中出現的也非常多,不過感覺知道度量張量,知道指數映射,知道測地線方程就差不多了,更深的壹些幾何概念很少出現)
再往下更深的數學,我也沒學過。比如今年ICLR那篇球面CNN的文章我也是壹臉懵逼壹頭霧水,不過上面那些基本上足以讓妳以高屋建瓴的視角看大多數深度方面的理論文章了。