ChatGPT帶動(dòng)的AI熱潮讓半導(dǎo)體市場(chǎng)小火了一把,,但也確實(shí)燒錢。據(jù)分析師Dylan Patel透露,,OpenAI每天為運(yùn)行ChatGPT投入的成本可能高達(dá)70萬(wàn)美元,,另一方面,,用來(lái)訓(xùn)練ChatGPT的英偉達(dá)的H100在ebay上炒到4萬(wàn)美元,,而微軟也傳出有意自研AI芯片、尋找更便宜的方案去替代英偉達(dá)的GPU,,以此降低成本,。
ChatGPT每日運(yùn)營(yíng)費(fèi)達(dá)70萬(wàn)美元
據(jù)芯片行業(yè)研究公司SemiAnalysis首席分析師迪倫?帕特爾表示,由于ChatGPT運(yùn)行在價(jià)格昂貴的計(jì)算基礎(chǔ)設(shè)施之上,,OpenAI每天為運(yùn)行ChatGPT投入的成本可能高達(dá)70萬(wàn)美元,。
帕特爾指出,ChatGPT需要龐大的算力,,才能基于用戶的輸入信息做出反饋,,包括撰寫(xiě)求職信、生成教學(xué)計(jì)劃,,以及幫助用戶優(yōu)化個(gè)人資料等,。帕特爾稱他的初步估計(jì)是基于OpenAI公司的GPT-3模型,而如今最新模型GPT-4已經(jīng)推出,,所以其運(yùn)行成本可能會(huì)更高,。
Patel和他的同事Afzal Ahmad稱,雖然訓(xùn)練ChatGPT的大型語(yǔ)言模型可能要花費(fèi)上億美元,,但當(dāng)這些工具合理部署之后,其運(yùn)營(yíng)費(fèi)可能遠(yuǎn)遠(yuǎn)超過(guò)了訓(xùn)練成本,。
英偉達(dá)H100,,漲超4萬(wàn)美元
ChatGPT的火熱,,也讓訓(xùn)練和部署大型語(yǔ)言模型所需芯片的需求飆升,。
馬斯克確認(rèn)Twitter 采購(gòu)了大約一萬(wàn)個(gè)英偉達(dá)計(jì)算 GPU,微軟,、甲骨文為其人工智能和云服務(wù)購(gòu)買了數(shù)萬(wàn)個(gè)英偉達(dá)的A100和H100 GPU,。
而在電商平臺(tái),英偉達(dá)最先進(jìn)的GPU也被炒出高價(jià),。
本周,英偉達(dá)H100芯片在eBay多個(gè)店鋪上的售價(jià)已經(jīng)超過(guò)4萬(wàn)美元,,而過(guò)去該產(chǎn)品曾以3.6萬(wàn)美元的價(jià)格出售,。

H100是英偉達(dá)去年發(fā)布的最新的人工智能旗艦芯片,,接替了A100, A100是一款被稱為人工智能應(yīng)用“主力”的芯片,,售價(jià)約為1萬(wàn)美元,。根據(jù)英偉達(dá)的說(shuō)法,,與A100相比,H100 的能效提高了3.5倍,。
通常而言,,英偉達(dá)的A100、H100等AI芯片以企業(yè)出貨為主,,較少在公開(kāi)市場(chǎng)零售,。
微軟自研AI芯片降成本
由于高漲的需求和產(chǎn)能的限制,英偉達(dá)芯片不僅時(shí)常短缺而且價(jià)格昂貴,,給微軟,、谷歌這類急于擴(kuò)充算力的公司形成了較大的壓力,。
近日,,微軟就傳出了自研芯片和尋找替代方案的消息,。
據(jù)科技媒體報(bào)道,有兩位消息人士透露,,微軟正在開(kāi)發(fā)自己的AI芯片,,為ChatGPT背后的關(guān)鍵技術(shù)提供動(dòng)力。報(bào)道稱,,消息人士都是直接了解該項(xiàng)目的人員,。他們提到,微軟早于2019年就開(kāi)始了這項(xiàng)研發(fā)AI芯片的計(jì)劃,,該計(jì)劃在公司內(nèi)部的代號(hào)為“雅典娜”(Athena),。
其中一位表示,芯片已經(jīng)提供給了小部分微軟的員工,,以及ChatGPT開(kāi)發(fā)商OpenAI的員工,,他們正在測(cè)試并使用這些芯片。主要用途為訓(xùn)練大語(yǔ)言模型和支持推理,,是生成式人工智能(AIGC)背后的關(guān)鍵技術(shù),。
Athena項(xiàng)目背后的原因有二:其一,微軟高管意識(shí)到,,他們?cè)谧灾餮邪l(fā)芯片方面落后于谷歌和亞馬遜,;其二,微軟正在尋找更便宜的替代品,,該公司目前的人工智能模型是在英偉達(dá)的圖形處理單元芯片上運(yùn)行的,。
據(jù)悉,微軟有300多名員工正在研發(fā)這款芯片,。知情人士透露,,該芯片最早可能于明年發(fā)布,供微軟和OpenAI內(nèi)部使用,。