天堂色网-天堂色综合-天堂社区在线观看-天堂社区在线视频-天天操网-天天操网站

 
當前位置: 首頁 » 行業資訊 » 企業新聞»老黃贏麻了!英偉達H100訂單排到24年 馬斯克都坐不住了
   

老黃贏麻了!英偉達H100訂單排到24年 馬斯克都坐不住了

 46.1K
     [點擊復制]
放大字體  縮小字體 發布日期:2023-08-16   瀏覽次數:14689
核心提示:煉大模型最佳GPU英偉達H100,全部賣空了!即使現在立即訂購,也要等2024年Q1甚至Q2才能用上。這是與英偉達關系密切的云廠商CoreW

煉大模型最佳GPU英偉達H100全部賣空了

即使現在立即訂購,也要等2024年Q1甚至Q2才能用上。

這是與英偉達關系密切的云廠商CoreWeave對華爾街日報透露的最新消息。

從4月初開始,供應就變得異常緊張。僅僅一周之內,預期交貨時間就從合理水平跳到了年底

全球最大云廠商亞馬遜AWS也證實了這一消息,CEO Adam Selipsky近期表示:

A100和H100是最先進的……即使對于AWS來說也很難獲得

更早時候,馬斯克還在一場訪談節目中也說過:GPU現在比d品還難獲得

圖片

如果找“黃牛”買,溢價高達25%

如Ebay上的價格已從出廠價約36000美元漲到了45000美元,而且貨源稀少。

這種形勢下,國內的百度、字節、阿里、騰訊等大型科技公司也向英偉達下了總計50億美元的A800等芯片訂單。

其中只有10億美元的貨能今年內交付,另外80%也要等2024年才行。

那么現有高端GPU都賣給誰了?這一波產能又是卡在了哪?

H100賣給誰,老黃說了算

ChatGPT爆發以來,擅長訓練大模型的英偉達A100、H100成了香餑餑。

甚至H100已經可以作為初創公司的一種資產,找投資基金獲得抵押貸款。

OpenAI、meta為代表的AI公司,亞馬遜、微軟為代表的云計算公司,私有云Coreweave和Lambda,以及所有想煉自家大模型的各類科技公司,需求量都巨大。

然而賣給誰,基本是英偉達CEO黃仁勛說了算。

圖片

據The Information消息,H100這么緊缺,英偉達把大量的新卡分配給了CoreWeave,對亞馬遜微軟等老牌云計算公司限量供應

(英偉達還直接投資了CoreWeave。)

外界分析是因為這些老牌公司都在開發自己的AI加速芯片、希望減少對英偉達的依賴,那老黃也就成全他們。

老黃在英偉達內部還把控了公司日常運營的方方面面,甚至包括“審查銷售代表準備對小型潛在客戶說什么話”

全公司約40名高管直接向老黃匯報,這比meta小扎和微軟小納的直接下屬加起來還多。

一位英偉達前經理透露,“在英偉達,黃仁勛實際上是每一款產品的首席產品官。”

前陣子,還傳出老黃干了一件夸張的事:要求一些小型云計算公司提供他們的客戶名單,想了解GPU的最終使用者是誰。

外界分析,此舉將使英偉達更了解客戶對其產品的需求,也引起了對英偉達可能利用這些信息謀取額外利益的擔憂。

也有人認為,還有一層原因是老黃想知道誰真的在用卡,而誰只是囤卡不用。

圖片

為什么英偉達和老黃現在有這么大的話語權?

主要是高端GPU供需太不平衡,根據GPU Utils網站的測算,H100缺口高達43萬張

作者Clay Pascal根據各種已知信息和傳言估計了AI行業各參與者近期還需要的H100數量。

AI公司方面:

OpenAI可能需要5萬張H100來訓練GPT-5

meta據說需要10萬

InflectionAI的2.2萬張卡算力集群計劃已公布

主要AI初創公司如Anthropic、Character.ai、歐洲的MistraAI和HelsingAI需求各自在1萬數量級。

云計算公司方面:

大型公有云里,亞馬遜、微軟、谷歌、甲骨文都按3萬算,共12萬

以CoreWeave和Lambda為代表的私有云加起來總共需要10萬

加起來就是43.2萬了。

這還沒算一些摩根大通、Two Sigma等也開始部署自己算力集群的金融公司和其他行業參與者。

那么問題來了,這么大的供應缺口,就不能多生產點嗎?

老黃也想啊,但是產能被卡住了

產能這次卡在哪里?

其實,臺積電已經為英偉達調整過一次生產計劃了。

不過還是沒能填補上如此巨大的缺口。

英偉達DGX系統副總裁兼總經理Charlie Boyle稱,這次并不是卡在晶圓,而是臺積電的CoWoS封裝技術產能遇到了瓶頸。

與英偉達搶臺積電產能的正是蘋果,要在9月發布會之前搞定下一代iPhone要用的A17芯片。

而臺積電方面近期表示,預計需要1.5年才能使封裝工藝積壓恢復正常。

CoWoS封裝技術是臺積電的看家本領,臺積電之所以能擊敗三星成為蘋果的獨家芯片代工廠靠的就是它。

這項技術封裝出的產品性能高、可靠性強,H100能擁有3TB/s(甚至更高)的帶寬正是得益于此。

CoWoS全名叫Chip-on-Wafer-on-Substrate,是一種在晶圓層面上的芯片集成技術。

這項技術可以將多個芯片封裝到厚度僅有100μm的硅中介層上。

據介紹,下一代中介層面積將達到6倍reticle,也就是約5000mm2。

目前為止,除了臺積電,沒有哪家廠商擁有這個水平的封裝能力。

雖然CoWoS的確強悍,但沒有它就不行嗎?其他廠商能不能代工呢?

先不說老黃已經表示過“不考慮新增第二家H100代工廠”。

從現實上看,可能也真的不行。

英偉達此前曾和三星有過合作,但后者從未給英偉達生產過H100系列產品,甚至其他5nm制程的芯片。

據此有人推測,三星的技術水平可能無法滿足英偉達對尖端GPU的工藝需求。

至于英特爾……他們的5nm產品好像還遲遲沒有問世。

圖片

既然讓老黃換生產廠家行不通,那用戶直接改用AMD怎么樣?

AMD,Yes?

如果單論性能的話,AMD倒的確是慢慢追上來了。

AMD最新推出的MI300X,擁有192GB的HBM3內存、5.2TB/s的帶寬,可運行800億參數模型。

而英偉達剛剛發布的DGX GH200,內存為141GB的HBM3e,帶寬則為5TB/s。

但這并不意味著AMD能馬上填補N卡的空缺——

英偉達真正的“護城河”,在于CUDA平臺。

CUDA已經建立起一套完整的開發生態,意味著用戶要是購買AMD產品,需要更長時間來進行調試。

一名某私有云公司的高管表示,沒人敢冒險花3億美元實驗部署10000個AMD GPU。

這名高管認為,開發調試的周期可能至少需要兩個月。

在AI產品飛速更新換代的大背景下,兩個月的空檔期對任何一家廠商來說可能都是致命的。

圖片

不過微軟倒是向AMD伸出了橄欖枝。

此前有傳聞稱 ,微軟準備和AMD共同開發代號為“雅典娜”的AI芯片。

而更早之前,MI200發布時,微軟第一個宣布采購,并在其云平臺Azure上部署。

比如前一陣MSRA的新大模型基礎架構RetNet就是在512張AMD MI200上訓練的。

在英偉達占據幾乎整個AI市場的格局下,可能需要有人帶頭沖鋒,先整個大型AMD算力集群打樣,才有人敢于跟進。

不過短時間內,英偉達H100、A100還是最主流的選擇。

One More Thing

前一陣蘋果發布最高支持192GB內存新款M2 Ultra芯片的時候,還有不少從業者暢享過用它來微調大模型。

畢竟蘋果M系列芯片的內存顯存是統一的,192GB內存就是192GB顯存,可是80GB H100的2.4倍,又或者24GB RTX4090的8倍。

然鵝,有人真的把這臺機器買到手后,實際測試訓練速度還不如英偉達RTX3080TI,微調都不劃算,訓練就更別想了。

畢竟M系列芯片的算力部分不是專門針對AI計算優化的,光大顯存也沒用。

煉大模型,看來主要還是得靠H100,而H100又求之不得。

面對這種情況,網絡上甚至流傳著一首魔性的“GPU之歌”

很洗腦,慎入。

 
 
 
[ 行業資訊搜索 ]  [ 加入收藏 ]  [ 告訴好友 ]  [ 打印本文 ]  [ 關閉窗口 ]
 
 
展會更多+
視頻更多+
點擊排行
 
網站首頁 | 網站地圖 | 排名推廣 | 廣告服務 | 積分換禮 | 網站留言 | RSS訂閱
主站蜘蛛池模板: 蜜桃欧美性大片 | 一 级 黄 色蝶 片 | 丁香五香天堂网 | 欧美曰韩| 黄色a视频在线观看 | 欧美成人午夜不卡在线视频 | 色小说综合网 | 特级做a爰片毛片免费看一区 | 高清国产一区二区 | 中文字幕日韩专区精品系列 | 天天玩天天操 | 18成人免费观看网站入口 | 夜色资源站www国产在线资源 | 成人免费福利网站在线看 | www在线小视频免费 xh98hx国产在线视频 | 欧美日韩在线视频一区 | 91无套极品外围在线播放 | 小明台湾成人永久免费看看 | 亚洲成人福利网站 | 亚洲日本中文字幕在线 | 国产精品视频免费视频 | 欧美高清精品 | free性中国老hd| 欧美一区二区影院 | 最近免费2019中文字幕大全 | 黄色影片免费在线观看 | 在线免费国产视频 | 好吊妞gao988在线播放 | 欧美在线一二三区 | 精品日韩一区二区三区 | 不卡一区二区在线观看 | 午夜欧美激情 | 亚洲精品黄色 | 色五月激情五月 | 999久久免费高清热精品 | 亚洲精品中文字幕久久久久久 | 欧美中文字幕在线播放 | 欧美黄色α片 | 一个人视频资源在线观看www | 福利视频网站 | 亚洲国产成人精彩精品 |