大模型的發(fā)展依賴于多方面的基礎(chǔ)支撐,包括豐富且高質(zhì)量的數(shù)據(jù)資源以提供訓(xùn)練所需的知識,強大的計算能力以支持復(fù)雜模型的高效訓(xùn)練和推理,以及穩(wěn)定且高效的能源供應(yīng)以保障計算資源的持續(xù)運行和環(huán)境可持續(xù)性。這些發(fā)展要素歸納起來就是語料數(shù)據(jù)、算力和電力,這三者共同決定了大模型的性能、效率和應(yīng)用范圍。
大模型拓寬了AI應(yīng)用場景,從傳統(tǒng)決策式的應(yīng)用轉(zhuǎn)向創(chuàng)作式內(nèi)容生成,顛覆了傳統(tǒng)行業(yè)的運行規(guī)則,將“AI+”式的賦能滲透入各行各業(yè),但AI的范式變化帶來了算力(包含運力、存力)、語料數(shù)據(jù)、能源供給的高要求。
算力對于大模型開發(fā)至關(guān)重要,占據(jù)其開發(fā)成本超過一半,強大的算力不僅能顯著縮短訓(xùn)練時間,還能提高模型的精度和性能,確保大模型能夠快速適應(yīng)和響應(yīng)不同應(yīng)用場景的需求,從而推動其在各個領(lǐng)域的廣泛應(yīng)用和持續(xù)創(chuàng)新。
從廣義來算,算力還包含運力、存力;根據(jù)應(yīng)用維度,可分為通用算力、超算算力、智算算力。
算力剪刀差是指在中國快速發(fā)展的數(shù)字經(jīng)濟和高科技行業(yè)中,算力的需求和供應(yīng)之間存在明顯的不平衡,具體表現(xiàn)為算力需求的快速增長與算力供應(yīng)相對不足之間的差距,這個問題在大數(shù)據(jù)處理、人工智能、云計算等新興技術(shù)領(lǐng)域無為突出。
大模型的發(fā)展需求、智慧城市的廣泛應(yīng)用、5G和物聯(lián)網(wǎng)的普及、工業(yè)互聯(lián)網(wǎng)的滲透等因素導(dǎo)致目前中國算力需求存在大量剪刀差情形。