OpenAI GPT-5難產(chǎn)，互聯(lián)網(wǎng)公開(kāi)資料已無(wú)法滿足其胃口
其實(shí)在見(jiàn)識(shí)過(guò)如今GPT-4的“實(shí)力”之后，小江已然不敢想象未來(lái)的GPT-5能達(dá)到怎樣的高度。再聯(lián)想下科幻作品中橋段，腦補(bǔ)的畫(huà)面不可謂之不“美麗”。但，根據(jù)最近消息OpenAI的GPT-5開(kāi)發(fā)工作似乎遭遇了“卡殼”。
GPT-5“難產(chǎn)”
據(jù)《華爾街日?qǐng)?bào)》12月20日?qǐng)?bào)道，OpenAI耗資巨大的“獵戶座”（Orion）項(xiàng)目，也就是傳聞的中GPT-5似乎正面臨不小的麻煩。這款代號(hào)神秘的GPT-5模型原計(jì)劃在2024年中旬登場(chǎng)，但截至目前，歷經(jīng)18個(gè)月的錘煉，它并沒(méi)有取得預(yù)期的成果。
源自其他媒體報(bào)道，OpenAI為了讓“獵戶座”更加聰明，已經(jīng)進(jìn)行了兩輪超大規(guī)模訓(xùn)練，每次訓(xùn)練都需要數(shù)月時(shí)間和大量數(shù)據(jù)支持。然而，有關(guān)人士透露，每次訓(xùn)練都會(huì)冒出新問(wèn)題，而且模型的表現(xiàn)總是差強(qiáng)人意。用一位前高管的話來(lái)說(shuō)，“GPT-4表現(xiàn)像優(yōu)秀高中生，但GPT-5的目標(biāo)是部分任務(wù)能達(dá)到博士水平”。但這“博士”門(mén)檻顯然高得離譜。
更棘手的是，訓(xùn)練GPT-5的成本堪稱(chēng)“天文數(shù)字”。據(jù)估算，僅6個(gè)月的算力成本就高達(dá)5億美元，而GPT-4的訓(xùn)練成本“才”剛過(guò)1億美元。
AI模型的“參數(shù)”（parameters）是衡量其能力的重要指標(biāo)，就像大腦神經(jīng)元數(shù)量。理論上，參數(shù)越多，模型越強(qiáng)大，但訓(xùn)練成本也就越高。從GPT-1的1.17億參數(shù)到GPT-4的1.76萬(wàn)億，OpenAI一路飆升了10倍。然而，參數(shù)的增加也意味著問(wèn)題更復(fù)雜，開(kāi)發(fā)難度更大。
早在2023年，OpenAI就啟動(dòng)了一個(gè)名為“厄拉克斯”（Arrakis）的測(cè)試項(xiàng)目，試圖為“獵戶座”奠定技術(shù)基礎(chǔ)，但效率低得令人發(fā)指，項(xiàng)目很快被叫停。這不僅讓OpenAI蒙受損失，也讓主要投資者微軟的部分高管大為光火。
更重要的是，當(dāng)今互聯(lián)網(wǎng)上的公開(kāi)數(shù)據(jù)已不能滿足GP-T迭代的胃口。為了破局，OpenAI甚至已經(jīng)開(kāi)始雇傭?qū)＜遥ㄜ浖こ處熀蛿?shù)學(xué)家等）來(lái)生成供“GPT-5”訓(xùn)練的新數(shù)據(jù)，但就模型的“吞吐量”和學(xué)習(xí)速度來(lái)說(shuō)，這方法幾乎和杯水車(chē)薪無(wú)疑，進(jìn)展依舊緩慢。
另一方面，OpenAI的“窩里斗”同樣讓項(xiàng)目雪上加霜。過(guò)去一年里，超過(guò)20位高管和研究人員離職，許多是業(yè)內(nèi)頂尖科學(xué)家。與此同時(shí)，競(jìng)爭(zhēng)對(duì)手卻在快速推進(jìn)。Anthropic的模型被認(rèn)為在性能上超越了GPT-4，谷歌推出的NotebookLM也備受好評(píng)。
在“獵戶座”掉隊(duì)的日子里，OpenAI試圖另辟蹊徑，推出了GPT-4的精簡(jiǎn)版，還開(kāi)辟了新方向，比如可以生成AI視頻的“Sora”項(xiàng)目，以及通過(guò)推理提升模型智能的“o1”推理模型。
所謂推理模型，旨在讓AI像人類(lèi)一樣分析問(wèn)題，而不是簡(jiǎn)單地“背書(shū)”。比如，OpenAI開(kāi)發(fā)的“o1”可以針對(duì)問(wèn)題生成多個(gè)答案，然后選出最佳選項(xiàng)。理論上，這種方法可以大幅提升性能，但批評(píng)者認(rèn)為，它不過(guò)是“高級(jí)模仿”，并不能真正解決新問(wèn)題。蘋(píng)果公司甚至指出，這類(lèi)模型在遇到無(wú)關(guān)細(xì)節(jié)時(shí)會(huì)“崩潰”。
面對(duì)質(zhì)疑，OpenAI CEO山姆·奧特曼并未放棄。他在最近的演講中表示，公司正開(kāi)發(fā)新的推理模型，但何時(shí)推出GPT-5仍是未知數(shù)。
結(jié)語(yǔ)
OpenAI的“獵戶座”項(xiàng)目如今像極了一場(chǎng)豪賭，押注的是技術(shù)、時(shí)間和巨額資金。隨著競(jìng)爭(zhēng)加劇，業(yè)內(nèi)紛紛猜測(cè)，曾經(jīng)“一騎絕塵”的OpenAI是否會(huì)被后浪拍在沙灘上。GPT-5究竟能否如愿登場(chǎng)，還需時(shí)間給出答案。
本文編輯：@ 江城子
?本文著作權(quán)歸電手所有，未經(jīng)電手許可，不得轉(zhuǎn)載使用。
