色爱精品视频一区,亚洲欧美韩国,男女视频在线,久久精品国产精品

歡迎訪問財經(jīng)股市網(wǎng)
首頁 > 科技 > 正文

追問AI大模型:7歲OpenAI打敗24歲谷歌 做對了什么?

科技來源:財聯(lián)社2023-03-20 10:55
  與谷歌一同在AI的荒野上求索,OpenAI選擇了人跡更少的一條路,再次印證“選擇有時候比努力更重要”。

圖片來自網(wǎng)絡(luò)/侵刪

  十年寒窗無人問,一朝成名天下知。當(dāng)坐在舊金山先鋒大廈的寫字樓中埋頭寫代碼的時候,OpenAI首席執(zhí)行官Sam Altman是否會想到,2023年,自己的面孔將如此頻繁地出現(xiàn)在各大科技媒體的封面?

  人類是多么喜愛類比思考,如同在互聯(lián)網(wǎng)2.0時代追問“為什么是蘋果?”一樣,新問題來了:為什么是OpenAI?

  長期以來,谷歌一直占據(jù)著人工智能領(lǐng)域的頭把交椅,基于這一點,這一問題可被進一步具體化——OpenAI為什么能在和谷歌的較量中勝出?

  解謎第一步,了解你的探索對象。

  ▌大衛(wèi)挑戰(zhàn)歌利亞

  ChatGPT的開發(fā)商OpenAI一出生便“自帶光環(huán)”——

  2015年12月,美國知名VC機構(gòu)Y Combinator的合伙人兼總裁山姆•阿爾特曼(Sam Altman)、Linkedin創(chuàng)始人里德•霍夫曼(Reid Hoffman)在舊金山成立了OpenAI,特斯拉CEO埃隆•馬斯克(Elon Musk)、PayPal聯(lián)合創(chuàng)始人彼得•蒂爾(Peter Thiel)、Stripe的CTO布羅克曼(Greg Brockman)等人共同認捐10億美元。

  彼時的人工智能領(lǐng)域,17歲的谷歌獨領(lǐng)風(fēng)騷。3個月后,其收編已有一年的DeepMind,以AlphaGo戰(zhàn)勝人類圍棋世界冠軍,也為人工智能行業(yè)注入了一針強心劑。

  而OpenAI意氣風(fēng)發(fā),將自己定位為非盈利性組織、承諾將免費分享開發(fā)代碼,目標很明確——遏制谷歌在人工智能領(lǐng)域的壟斷地位。

  大衛(wèi)與歌利亞的對決就此拉開序幕。

  2019年初,OpenAI宣布從“非盈利”性質(zhì)過渡到“封頂營利(capped for profit)”,成立子公司OpenAI LP并“抱上金大腿”——引入了微軟的10億美元投資。阿爾特曼也正是在此時辭去了YC集團(Y Combinator的母公司)總裁職務(wù),全身心投入到OpenAI并擔(dān)任CEO。

  野心有了,但前路荊棘叢生,少年滿眼迷茫。

  想要成功挑戰(zhàn)谷歌在人工智能領(lǐng)域的地位好比蚍蜉撼樹,更遑論谷歌CEO桑德•皮查伊(Sundar Pichai)在2016年5月宣布將公司戰(zhàn)略轉(zhuǎn)為“人工智能為先”(AI First)。

  阿爾特曼曾在2019年被問及OpenAI要如何實現(xiàn)盈利,他坦言,“老實說,我們不知道(honest answer is we have no idea)”。

  ▌選擇大于努力

  與其將ChatGPT背后的大模型GPT視作一個顛覆式創(chuàng)新,倒不如說它是站在前人肩膀上的集大成者。

  GPT的“T”是指Transformer架構(gòu),該架構(gòu)是其技術(shù)底座,由谷歌研發(fā)而成,已經(jīng)開源。特斯拉自動駕駛、預(yù)測蛋白質(zhì)結(jié)構(gòu)的AlphaFold2模型都是在Transformer的基礎(chǔ)上構(gòu)建的。

  起點明顯低于谷歌,OpenAI要如何翻盤?

  阿爾特曼的一句話給出了解謎線索——“無論做什么創(chuàng)業(yè)公司都會很辛苦,不如干票大的。”(Startups are very hard no matter what you do , you may as well go after a big opportunity.)

  “a big opportunity”是什么?大模型是也。

  2015年之前,人工智能的江湖,小模型遍地走。有科技業(yè)內(nèi)人士分析稱,國內(nèi)在ChatGPT上落后的原因,是之前把資源更多地放在產(chǎn)業(yè)互聯(lián)網(wǎng)和B端業(yè)務(wù),涉及的是產(chǎn)業(yè)端的小模型,而沒有把精力放在面向C端的通用人工智能,導(dǎo)致錯失了時間窗口機遇。

  當(dāng)然,一直以來,大模型也是谷歌在內(nèi)的大公司的研究方向。但能做到“孤注一擲”、“鐘愛”GPT路線的,只有OpenAI一家。反觀谷歌先后推出了BERT、T5、Switch Transformer、PaLM-E等模型,可謂廣撒網(wǎng)。

  即便在與谷歌的較量中長期落于下風(fēng),OpenAI也沒有放棄將GPT作為唯一路線——

  2018年,OpenAI推出了1.17億參數(shù)的GPT-1,谷歌推出了3億參數(shù)的BERT。結(jié)果是,發(fā)布更早的GPT-1完敗晚4個月發(fā)布的BERT。在當(dāng)時的競賽排行榜上,閱讀理解領(lǐng)域被BERT屠榜了。此后,BERT成為了NLP(自然語言處理)領(lǐng)域最常用的模型。

  OpenAI選擇“硬剛”,此后幾年,在幾乎沒有改變模型架構(gòu)的基礎(chǔ)上,OpenAI陸續(xù)推出參數(shù)更大的迭代版本GPT-2、GPT-3。

  與谷歌一同在AI的荒野上求索,OpenAI選擇了人跡更少的一條路,再次印證“選擇有時候比努力更重要” 。

  ▌被貴人“放養(yǎng)”的義子

  10億美元的啟動資金讓OpenAI含著金湯匙出生,但奈何其花錢如流水,上千億規(guī)模的大模型光訓(xùn)練費用就要上百萬美金。投靠微軟后OpenAI絲毫不該本性,前者好比收了一個大手大腳卻不爭氣的義子。

  微軟選擇了“放養(yǎng)”,用金錢為GPT大模型打造一條護城河。但天下沒有免費的午餐,微軟并不是為了做慈善。

  阿爾特曼的作用再次體現(xiàn),他多次飛去西雅圖,為微軟CEO薩蒂亞•納德拉(Satya Nadella)現(xiàn)場展示OpenAI的模型。

  經(jīng)過多次談判,兩者達成了獨特的合作模式:

  業(yè)務(wù)上,微軟成了OpenAI的唯一云計算供應(yīng)商和“首要合作伙伴”,其他公司想使用OpenAI的技術(shù),最好的方式是搭上微軟的Azure云計算梯子。

  利潤分配上,微軟相當(dāng)于“租了OpenAI”,一旦OpenAI超額盈利,微軟能直接“提現(xiàn)”。即微軟新一輪投資完成、OpenAI LP首批投資人收回初始投資后,微軟有權(quán)獲得OpenAI LP 75%利潤;微軟收回130億美元投資、從OpenAI LP獲得920億美元利潤后,它分享利潤的比例從75%降到49%;OpenAI LP產(chǎn)生的利潤達到1500億美元后,投資方的全部股權(quán)轉(zhuǎn)讓給OpenAI的非營利基金。

  這筆買賣,納德拉并不吃虧。據(jù)市場消息,在2019年到2023年之間,微軟又投資了20億美元。

  ▌再度借勢谷歌實現(xiàn)技術(shù)躍遷

  在通往大模型的路上,OpenAI用七八年的時間只磨一劍,此刻霜刃未試,只需一陣恰如其分的東風(fēng)。這陣風(fēng)起于2022年——最新版本的GPT實現(xiàn)了量變到質(zhì)變的突破,完成了技術(shù)躍遷,對手谷歌起到了關(guān)鍵作用。我們可以來回顧這個過程:

  如今,GPT大模型被稱為暴力美學(xué)的典范,驗證了“模型越大,性能越好”的邏輯。但曾幾何時,這一邏輯長期跑不通。

  OpenAI的研究者最開始認為語言模型的性能與模型尺寸的關(guān)系可以通過對數(shù)線性曲線預(yù)測,即模型尺寸呈指數(shù)增長時,性能會隨之線性增加(見下圖)。

  在這個階段,即便最大的 GPT-3,其性能也不能勝過小模型,故NLP的研究聚焦在更小的模型或者高效參數(shù)適應(yīng),大模型前途一片黯淡。

  轉(zhuǎn)機出現(xiàn)在2022年1月。一位谷歌研究員對模型訓(xùn)練方式做出了一個小小的改變,正是這個創(chuàng)新,徹底改變了大模型的命運。

  該研究員叫Jason Wei,他提出了“思維鏈”的概念,一種針對模型訓(xùn)練的離散式提示學(xué)習(xí)方式。簡單來說,就是將問題的“思維過程”提示給模型,指導(dǎo)它獲得更好的答案。

  標注思維鏈后,大模型似乎增強了理解力,回答問題的準確性大大提高,進而推翻了推翻上述比例定律,頗有種“山窮水盡疑無路 柳暗花明又一村”的感覺。

  借助新的訓(xùn)練方式,當(dāng)模型尺寸足夠大、達到一定規(guī)模時,會突然獲得小模型不具備的能力,讓模型的性能急劇增加、超越比例曲線(見下圖)。

  之后的故事,如你所見:ChatGPT甫一上線,上百萬用戶瘋狂涌入并在社交媒體上轉(zhuǎn)發(fā)對話截圖;大洋彼岸的中國,股市里一眾板塊你方唱罷我登場,而這一切都發(fā)生在短短四個月之內(nèi)。

  ▌結(jié)語

  如果非要為OpenAI的成功尋求一個答案,那么你可能得到一句口水話:OpenAI做對選擇并堅持了下去,期間找到“貴人”微軟相助守住了這份少年意氣,沒有放棄每一個借力向上的機會。

  如今,更有無數(shù)追隨者正奔赴大模型領(lǐng)域,它們追尋著OpenAI的選擇,但是行百里者半九十,能否堅持下去就要看各自的本事了。

下一篇:最后一頁
【版權(quán)及免責(zé)聲明】凡注明"轉(zhuǎn)載來源"的作品,均轉(zhuǎn)載自其它媒體,轉(zhuǎn)載目的在于傳遞更多的信息,并不代表本網(wǎng)贊同其觀點和對其真實性負責(zé)。財經(jīng)股市網(wǎng)倡導(dǎo)尊重與保護知識產(chǎn)權(quán),如發(fā)現(xiàn)本站文章存在內(nèi)容、版權(quán)或其它問題,煩請聯(lián)系。 聯(lián)系方式:QQ:2261036103,我們將及時溝通與處理。
新聞推薦


主站蜘蛛池模板: 沧州市| 闻喜县| 双桥区| 礼泉县| 赤壁市| 聊城市| 万州区| 广州市| 南丰县| 清水县| 西昌市| 容城县| 浏阳市| 伊吾县| 河源市| 石屏县| 寻甸| 泗洪县| 江西省| 景洪市| 宣威市| 汕尾市| 宁陵县| 南丰县| 英吉沙县| 永嘉县| 温宿县| 徐闻县| 泰宁县| 清水河县| 积石山| 靖安县| 柏乡县| 武汉市| 银川市| 通渭县| 永胜县| 栖霞市| 新巴尔虎右旗| 略阳县| 道真|