丟掉Adam擁抱進階新優化器
深度學習訓練過程中，有效地訓練模型並產生準確結果時，模型的內部參數起到了非常重要的作用，因此我們用優化器Optimizer來加速神經網絡訓練過程，許多人永遠把Adam當作是萬年不變的優化器預設值，但到了2020年演算法技術發展更趨成熟，優化器的最佳預設值也該換位了。這次請到AI智能數據專家「尹相志 老師」，來聊聊哪些值得關注的新優化器。LookAhead減少了對大量超參數調優的需求，同時以最小的計算開銷在不同深度學習任務之間實現更快的收斂；Ranger同時具備RAdam和LookAhead的優點，一行代碼即可提升模型能力，Ranger的集成可望為深度學習帶來新的里程碑；也有人將LARS與Ranger結合，效果居然又更進一步提升。到底誰能坐上最新優化器霸主的寶座，馬上報名見分曉！