全球第五大超算!特斯拉:用它訓(xùn)練AI 將自動駕駛成為可能
6月23日報道,特斯拉近日推出了新的超級計算機,并成功位列全球第五大超級計算機,它也將是特斯拉即將推出的新超級計算機Dojo的“先行版本”。
據(jù)稱,這一超級計算機將被用于訓(xùn)練為特斯拉的自動駕駛儀(Autopilot)和即將問世的自動駕駛?cè)斯ぶ悄埽ˋI)提供動力的神經(jīng)網(wǎng)絡(luò)。
在過去的幾年里,特斯拉一直把研究重點放在汽車內(nèi)外的計算能力上。在內(nèi)部,需要足夠強大的計算機來運行它的自動駕駛軟件;在外部,則需要超級計算機來訓(xùn)練由神經(jīng)網(wǎng)絡(luò)支持的自動駕駛軟件,這些神經(jīng)網(wǎng)絡(luò)會接收來自海量車輛的大量數(shù)據(jù)。
特斯拉在過去的幾年里一直在研究Dojo,該公司首席執(zhí)行官埃隆·馬斯克(Elon Musk)一直暗示它應(yīng)該在今年年底準備好。據(jù)了解,Dojo項目由計算速度達每秒百萬萬億次(exaFLOP)的超級計算機組成,使其成為全球最強大的計算機之一。
日前,在2021年計算機視覺與模式識別大會上,特斯拉AI主管Andrej Karpath介紹了該公司的最新超級計算機。Karpathy展示了特斯拉的第三個超級計算機集群,特斯拉聲稱該新集群具有一些相當瘋狂的參數(shù),應(yīng)該會使其成為全球第五的計算機:
1.720個80GB 8x A100 節(jié)點(共5760 個GPU);
2.1.8 EFLOPS(720節(jié)點* 312 TFLOPS-FP16-A100 * 8 gpu/節(jié)點);
3.10 PB“熱層”NVME存儲@ 1.6 TBps;
4.總交換容量為640 Tbps。
Karpathy對此評論稱,“我們有一個神經(jīng)網(wǎng)絡(luò)架構(gòu)網(wǎng)絡(luò)和一個1.5 pb的數(shù)據(jù)集,需要大量的計算。對我們來說,計算機視覺是使自動駕駛成為可能的基本要素?!?/p>
“為了讓它更好地工作,我們需要掌握來自車隊的數(shù)據(jù),訓(xùn)練大量的神經(jīng)網(wǎng)絡(luò)并進行大量實驗。所以我們在計算上投入了很多。在本例中,我們展示的是使用720個80GB版本的8x A100節(jié)點構(gòu)建的集群。這是一個巨大的超級計算機。我實際上認為,就每秒浮點運算次數(shù)而言,它大概是世界上第5臺超級計算機?!彼a充道。
這位特斯拉工程師不愿詳細說明Dojo項目,但他表示,Dojo將是一臺比特斯拉目前的集群更適合神經(jīng)網(wǎng)絡(luò)訓(xùn)練的超級計算機。馬斯克此前還表示,特斯拉計劃最終將其超級計算機提供給其他公司,以便它們在上面訓(xùn)練自己的神經(jīng)網(wǎng)絡(luò)。
