十年寒窗無人問,一朝成名天下知。當(dāng)坐在舊金山先鋒大廈的寫字樓中埋頭寫代碼的時候,OpenAI首席執(zhí)行官Sam Altman是否會想到,2023年,自己的面孔將如此頻繁地出現(xiàn)在各大科技媒體的封面?
人類是多么喜愛類比思考,如同在互聯(lián)網(wǎng)2.0時代追問“為什么是蘋果?”一樣,新問題來了:為什么是OpenAI?
長期以來,谷歌一直占據(jù)著人工智能領(lǐng)域的頭把交椅,基于這一點,這一問題可被進一步具體化——OpenAI為什么能在和谷歌的較量中勝出?
解謎第一步,了解你的探索對象。
▌大衛(wèi)挑戰(zhàn)歌利亞
ChatGPT的開發(fā)商OpenAI一出生便“自帶光環(huán)”——
2015年12月,美國知名VC機構(gòu)Y Combinator的合伙人兼總裁山姆•阿爾特曼(Sam Altman)、Linkedin創(chuàng)始人里德•霍夫曼(Reid Hoffman)在舊金山成立了OpenAI,特斯拉CEO埃隆•馬斯克(Elon Musk)、PayPal聯(lián)合創(chuàng)始人彼得•蒂爾(Peter Thiel)、Stripe的CTO布羅克曼(Greg Brockman)等人共同認捐10億美元。
彼時的人工智能領(lǐng)域,17歲的谷歌獨領(lǐng)風(fēng)騷。3個月后,其收編已有一年的DeepMind,以AlphaGo戰(zhàn)勝人類圍棋世界冠軍,也為人工智能行業(yè)注入了一針強心劑。
而OpenAI意氣風(fēng)發(fā),將自己定位為非盈利性組織、承諾將免費分享開發(fā)代碼,目標很明確——遏制谷歌在人工智能領(lǐng)域的壟斷地位。
大衛(wèi)與歌利亞的對決就此拉開序幕。
2019年初,OpenAI宣布從“非盈利”性質(zhì)過渡到“封頂營利(capped for profit)”,成立子公司OpenAI LP并“抱上金大腿”——引入了微軟的10億美元投資。阿爾特曼也正是在此時辭去了YC集團(Y Combinator的母公司)總裁職務(wù),全身心投入到OpenAI并擔(dān)任CEO。
野心有了,但前路荊棘叢生,少年滿眼迷茫。
想要成功挑戰(zhàn)谷歌在人工智能領(lǐng)域的地位好比蚍蜉撼樹,更遑論谷歌CEO桑德•皮查伊(Sundar Pichai)在2016年5月宣布將公司戰(zhàn)略轉(zhuǎn)為“人工智能為先”(AI First)。
阿爾特曼曾在2019年被問及OpenAI要如何實現(xiàn)盈利,他坦言,“老實說,我們不知道(honest answer is we have no idea)”。
▌選擇大于努力
與其將ChatGPT背后的大模型GPT視作一個顛覆式創(chuàng)新,倒不如說它是站在前人肩膀上的集大成者。
GPT的“T”是指Transformer架構(gòu),該架構(gòu)是其技術(shù)底座,由谷歌研發(fā)而成,已經(jīng)開源。特斯拉自動駕駛、預(yù)測蛋白質(zhì)結(jié)構(gòu)的AlphaFold2模型都是在Transformer的基礎(chǔ)上構(gòu)建的。
起點明顯低于谷歌,OpenAI要如何翻盤?
阿爾特曼的一句話給出了解謎線索——“無論做什么創(chuàng)業(yè)公司都會很辛苦,不如干票大的。”(Startups are very hard no matter what you do , you may as well go after a big opportunity.)
“a big opportunity”是什么?大模型是也。
2015年之前,人工智能的江湖,小模型遍地走。有科技業(yè)內(nèi)人士分析稱,國內(nèi)在ChatGPT上落后的原因,是之前把資源更多地放在產(chǎn)業(yè)互聯(lián)網(wǎng)和B端業(yè)務(wù),涉及的是產(chǎn)業(yè)端的小模型,而沒有把精力放在面向C端的通用人工智能,導(dǎo)致錯失了時間窗口機遇。
當(dāng)然,一直以來,大模型也是谷歌在內(nèi)的大公司的研究方向。但能做到“孤注一擲”、“鐘愛”GPT路線的,只有OpenAI一家。反觀谷歌先后推出了BERT、T5、Switch Transformer、PaLM-E等模型,可謂廣撒網(wǎng)。
即便在與谷歌的較量中長期落于下風(fēng),OpenAI也沒有放棄將GPT作為唯一路線——
2018年,OpenAI推出了1.17億參數(shù)的GPT-1,谷歌推出了3億參數(shù)的BERT。結(jié)果是,發(fā)布更早的GPT-1完敗晚4個月發(fā)布的BERT。在當(dāng)時的競賽排行榜上,閱讀理解領(lǐng)域被BERT屠榜了。此后,BERT成為了NLP(自然語言處理)領(lǐng)域最常用的模型。
OpenAI選擇“硬剛”,此后幾年,在幾乎沒有改變模型架構(gòu)的基礎(chǔ)上,OpenAI陸續(xù)推出參數(shù)更大的迭代版本GPT-2、GPT-3。
與谷歌一同在AI的荒野上求索,OpenAI選擇了人跡更少的一條路,再次印證“選擇有時候比努力更重要” 。
▌被貴人“放養(yǎng)”的義子
10億美元的啟動資金讓OpenAI含著金湯匙出生,但奈何其花錢如流水,上千億規(guī)模的大模型光訓(xùn)練費用就要上百萬美金。投靠微軟后OpenAI絲毫不該本性,前者好比收了一個大手大腳卻不爭氣的義子。
微軟選擇了“放養(yǎng)”,用金錢為GPT大模型打造一條護城河。但天下沒有免費的午餐,微軟并不是為了做慈善。
阿爾特曼的作用再次體現(xiàn),他多次飛去西雅圖,為微軟CEO薩蒂亞•納德拉(Satya Nadella)現(xiàn)場展示OpenAI的模型。
經(jīng)過多次談判,兩者達成了獨特的合作模式:
業(yè)務(wù)上,微軟成了OpenAI的唯一云計算供應(yīng)商和“首要合作伙伴”,其他公司想使用OpenAI的技術(shù),最好的方式是搭上微軟的Azure云計算梯子。
利潤分配上,微軟相當(dāng)于“租了OpenAI”,一旦OpenAI超額盈利,微軟能直接“提現(xiàn)”。即微軟新一輪投資完成、OpenAI LP首批投資人收回初始投資后,微軟有權(quán)獲得OpenAI LP 75%利潤;微軟收回130億美元投資、從OpenAI LP獲得920億美元利潤后,它分享利潤的比例從75%降到49%;OpenAI LP產(chǎn)生的利潤達到1500億美元后,投資方的全部股權(quán)轉(zhuǎn)讓給OpenAI的非營利基金。
這筆買賣,納德拉并不吃虧。據(jù)市場消息,在2019年到2023年之間,微軟又投資了20億美元。
▌再度借勢谷歌實現(xiàn)技術(shù)躍遷
在通往大模型的路上,OpenAI用七八年的時間只磨一劍,此刻霜刃未試,只需一陣恰如其分的東風(fēng)。這陣風(fēng)起于2022年——最新版本的GPT實現(xiàn)了量變到質(zhì)變的突破,完成了技術(shù)躍遷,對手谷歌起到了關(guān)鍵作用。我們可以來回顧這個過程:
如今,GPT大模型被稱為暴力美學(xué)的典范,驗證了“模型越大,性能越好”的邏輯。但曾幾何時,這一邏輯長期跑不通。
OpenAI的研究者最開始認為語言模型的性能與模型尺寸的關(guān)系可以通過對數(shù)線性曲線預(yù)測,即模型尺寸呈指數(shù)增長時,性能會隨之線性增加(見下圖)。
在這個階段,即便最大的 GPT-3,其性能也不能勝過小模型,故NLP的研究聚焦在更小的模型或者高效參數(shù)適應(yīng),大模型前途一片黯淡。
轉(zhuǎn)機出現(xiàn)在2022年1月。一位谷歌研究員對模型訓(xùn)練方式做出了一個小小的改變,正是這個創(chuàng)新,徹底改變了大模型的命運。
該研究員叫Jason Wei,他提出了“思維鏈”的概念,一種針對模型訓(xùn)練的離散式提示學(xué)習(xí)方式。簡單來說,就是將問題的“思維過程”提示給模型,指導(dǎo)它獲得更好的答案。
標注思維鏈后,大模型似乎增強了理解力,回答問題的準確性大大提高,進而推翻了推翻上述比例定律,頗有種“山窮水盡疑無路 柳暗花明又一村”的感覺。
借助新的訓(xùn)練方式,當(dāng)模型尺寸足夠大、達到一定規(guī)模時,會突然獲得小模型不具備的能力,讓模型的性能急劇增加、超越比例曲線(見下圖)。
之后的故事,如你所見:ChatGPT甫一上線,上百萬用戶瘋狂涌入并在社交媒體上轉(zhuǎn)發(fā)對話截圖;大洋彼岸的中國,股市里一眾板塊你方唱罷我登場,而這一切都發(fā)生在短短四個月之內(nèi)。
▌結(jié)語
如果非要為OpenAI的成功尋求一個答案,那么你可能得到一句口水話:OpenAI做對選擇并堅持了下去,期間找到“貴人”微軟相助守住了這份少年意氣,沒有放棄每一個借力向上的機會。
如今,更有無數(shù)追隨者正奔赴大模型領(lǐng)域,它們追尋著OpenAI的選擇,但是行百里者半九十,能否堅持下去就要看各自的本事了。