AlexNet是八層的結構，各自有一些獨立的設計，在此時，8層已經是革命性的深度網路了。
更深的網路特別難以訓練，因此原本直到14年，谷歌和牛津才分別把這個深度推進到22層和19層。
而ResNet的思想，徹底從根本上解決了網路變深就沒法順利訓練的問題。它讓50，100，150，甚至1000層網路的訓練成為可能。
“從去年的8，到今年的100+層，甚至1000層也可以訓練。在2013年的視角來看，這一劑猛藥應該夠勁了。”
不僅是深度上取得了開創性的突破，ResNet的效能也同樣驚人。它是第一個Top5錯誤率低於人類能力的結構，單模型達到了4.6%左右。
如果綜合幾個不同方式訓練的ResNet，平均他們的輸出再去預測的話，其TOP5錯誤率甚至低至3.7%。
“其實在IMAGENET上做得太準了反而是一件怪事。”考慮到後世的研究中，該資料集中的標籤其實有不小的比例是錯誤的，越貼近百分之百的準確率反而越有一些荒誕的感覺。
ResNet的Res指residual，正經點說是殘差，說得明白一些是一種短路或者是跳躍連結。
再說的淺顯一點，假設原本的操作為f(x，ResNet就是把計算過程從f(x改為f(x+x。
這也是孟繁岐最早與付院長討論的內容之一。
這種不帶任何引數的支路連結，直接把操作前的內容加到操作後的內容上，是深度網路突然能夠在上千層的深度下收斂的秘密所在。
在此之後的幾乎所有AI文章，都很難繞得開這個思路。愷明本人單就這一篇文章，就在六七年的時間內收穫了十五六萬的文章引用。
不得不說這是一個天文數字。要知道即便是Nature Cell Science三大世界級頂刊常客，著名華國美國雙料科學院士抽出一個來，至今為止所有文章的總引用數量加在一起五萬多都算是多的了。
當然了，單以論文被引用的次數來評價文章的水平和作者的水平是有失偏頗的。
很多基本學科曲高和寡，看得人少寫得人也少。引用自然就上不去。
但就AI這個實用性實驗性比較強的學科來說，內部去對比的話，引用的多少含金量還是相當之高的。
大家只會用程式碼投票，有價值的東西會一直迭代下去。有利於自己模型在任務上效能提升的技術，則會被一直引用下去。
學術界一直有這樣的說法，搞理論的和搞實驗的兩邊相互看不起。這倒也不是無中生有。
愷明憑藉幾篇代表作奠定自己歷史地位後，就總有個別人喜歡說什麼“ResNet的思想早就有人提過了”，“幾十年前的東西不算什麼新東西”，“這篇文章也就是流量大罷了，和流量明星是一樣的”。
酸味都要溢位螢幕了。
孟繁岐不是沒讀過一些理論類的文章，但他個人覺得新時代的AI，P話誰都會說，程式碼寫出來才是本事。你說幾十年前就有的東西，怎麼不寫一個ResNet突破人類水準呢？
ResNet的核心程式碼難寫嗎？不難的。
基於阿里克斯的框架，只需幾個小時的時間，他就可以基本復現出ResNet論文中的所有結構。
弱小和無知不是生存的障礙，傲慢才是。