準確地說,DeepSeek並不是第一次釋出模型了。
在孟繁岐的視角來看,DeepSeek所公佈的技術,一直以來都有不錯的創意。
Closeai與DS也是有一些技術交流的,只不過兩者合作並不緊密,孟繁岐也沒有太將這個做量化的跨界公司放在眼中。
他認為,DS所做的稀疏沒有高壁壘,仍舊受制於英偉達顯示卡。
換言之,孟繁岐雖然驚訝與DeepSeekv3竟然彎道超車,提前完成了他在兩個技術方向上的設想,但這件事情總體來說還是在意料之中的。
孟繁岐早就想過可能會有其他公司搶先做到,也做好了心理準備
對比之下,DeepSeekR1系列模型,則完全超乎孟繁岐的意料。
尤其是R1Zero這一技術,可以說是完全在孟繁岐的理解之外。
在GPT發展到第四代之後,讓大模型對問題進行分析推理成為了提升模型效能的一個重要技術。
早期,有學者發現了一個非常微妙的事情,在與大模型進行交流對話的時候,如果你對它說,“請一步一步好好思索分析這個問題”,僅僅只是新增了一句話,卻起到了明顯的作用。
經過學者們的測試,完全相同的模型,加上這句話作為提示詞後,在各個資料集和指標上的驗證結果都有了顯著的提高。
在有些地方上,這麼一句話帶來的顯著的效果甚至超過將模型擴大幾倍規模。
這個發現讓人們開始關注大模型的推理能力。
由於大模型生成每一個字的時候,都會將此前的所有文字考慮進去,這就導致了逐步分析問題的生成方式,其輸出的穩定性和邏輯性,都要比直接生成一個結論要強不少。
在直接將GPT4級別的模型訓練得更高這件事情碰壁之後,讓模型形成思維鏈便成了一大研究重心。
而今真正將CoT(chain of thoughts思維鏈落實到大模型並公開使用的,只有GPT4o1。
推理系列的模型,會先針對提問進行一長串的分析和思考,逐一考慮各種可能性,最後才會開始嘗試回答問題。
這種回答方式雖然慢了一些,但質量顯然有了顯著提升。
o1系列的思考過程是不公開的,或者說,只會展現給使用者一小部分摘要。
這麼做的原因,是為了增加其他AI公司的模仿成本。
最先進的大模型是如何思考問題的,這個思索推理的過程是非常珍貴的資訊。
因為此前,讓大模型具有推理分析能力需要大量高質量的CoT思維鏈資料。
許多難題應該如何逐步推理,不僅要準備每一步的分析,還要交叉確認這些內容步驟正確。這比起大模型早期時代在網際網路上到處摘抄文字,獲取的難度和成本不可同日而語。
饒是孟繁岐坐擁最大的AI相關知識互動社群,想要梳理出高質量的思維鏈文字也並不容易。