實際上，馬斯克沒有對這件事情抱有特別大的希望。在他看來，孟繁岐上次給出的方案已經好到非常離譜了。
&nNet，還沒把殘差的原理和一些變種搞明白的時間點，孟繁岐已經針對各種不同平臺的其他運算裝置，做了相當多的實驗。
從而透過最佳化運算元結構，調整特定計算過程的方式，將這個核心的骨幹網路引數量減少了接近十倍。
運算快了這麼多，效能卻沒什麼變化，這已經非常不得了了。
馬斯克有這一問，也是私下裡的隨口一提。
但他名頭太大，以往自己做的事情又太瘋狂，導致孟繁岐聽著他那頗為低沉，有磁性的聲音之時，當了真。
還真以為這是個非常嚴肅認真的需求。
“自動駕駛的熱度確實也快起來了，我專門針對這方面做點最佳化工作，也不算虧。”
孟繁岐一邊利用著重生優勢開始抄底一些車企的股票，一邊開始著手實現一個巧妙的加速並且節省記憶體的方式。
這個新的最佳化辦法叫做網路結構的重引數化。
這半年來，視覺方法效能的突飛猛進來自於孟繁岐提出的殘差方法，也就是將y = F(x變為 y = F(x+ x。
這裡的寫法比較簡便，將一系列複雜的操作，抽象歸納為F(，在實際運算過程中，這個F(還是比較複雜的，往往需要算上好一會。
但在計算的時候，就有一個問題了，原本y = F(x運算開始的時候，就不再需要繼續儲存x這個變數了，因為它已經在參與F(x的運算。
在運算過程當中，它會變成其他的中間變數，然後最終變為我們所想要的y。
可在殘差辦法當中，y = F(x+ x，x這個原始的輸入，是不能夠捨棄的。
必須有空間一直被佔用著，用來存放這個x，因為它還等著最後加上去呢。
在比較複雜，解析度比較高的任務當中，這個變數的大小是相當可觀的。
這種情況有沒有辦法可以規避？規避之後，殘差方法帶來的效能提升能不能不要被影響？
答案當然是肯定的，完全可以做到。
孟繁岐準備實現的這種結構重引數化，其最核心的思想就是模型訓練和實際使用推理的分離。
首先構造一系列結構（一般用於訓練），並將其引數等價轉換為另一組引數（一般用於推理），從而將這一系列結構等價轉換為另一系列結構。
在現實場景中，訓練資源一般是非常豐富的，可以在大型的伺服器上得到。
而推理的時候，計算資源往往會比較有限，因此大家更在意的是推理時的開銷和效能。
想要訓練時的結構較大，具備好的某種性質，比如效能特別好，準確率特別高。
但在推理的時候，則把結構變小變快，同時在數學上等價於大型的結構。
孟繁岐的這個新辦法，就提供了這種可能，他相信，重引數+移動端網路的算力削減，將會成為自動駕駛領域的一大催化劑。最新網址：
本站網站: