廣州熱線

　　在AI技術(shù)日新月異的今天,高性能算力已成為推動AI大模型發(fā)展的關(guān)鍵要素。面對這一挑戰(zhàn),光速光合作為科技投資領(lǐng)域的先行者,始終致力于挖掘并扶持具有創(chuàng)新潛力的科技企業(yè)。在2024年年初,光速光合 完成了對基流科技的Pre-A輪領(lǐng)投,基流科技憑借其深厚的技術(shù)底蘊和豐富的實踐經(jīng)驗,在構(gòu)建大規(guī)模計算機系統(tǒng)和分布式GPU系統(tǒng)方面取得了開創(chuàng)性成果,為行業(yè)樹立了新的標桿。光速光合希望能與基流科技攜手并進,共同探索AI算力技術(shù)的無限可能,為推動中國乃至全球的人工智能發(fā)展貢獻力量。

　　“非常榮幸,在基流創(chuàng)業(yè)的成長路上有眾多良師益友的鼎力相助,使基流有機會參與建設(shè)超級系統(tǒng),有機會見證中國通用人工智能落地。團隊的拼搏使我倍感自豪,在人工智能飛速發(fā)展的浪潮中,我們留下了自己的足跡?！被骺萍糃EO胡效赫感慨地說。

　　在清華一路從本科、博士到博后,胡效赫師從李軍研究員,于網(wǎng)絡(luò)安全實驗室進行了十年高性能網(wǎng)絡(luò)系統(tǒng)研究。他在加州大學伯克利分校作為訪問學者期間曾師從于Scott Shenker院士,后者是SDN網(wǎng)絡(luò)的提出者。他非常精通于分布式計算及高性能網(wǎng)絡(luò),在創(chuàng)業(yè)前就已經(jīng)落地了全國首個運營商級Tbps可編程網(wǎng)絡(luò)產(chǎn)品,并在超算環(huán)境跑通國產(chǎn)千卡大模型。

　　專注大規(guī)模計算機系統(tǒng)的建設(shè),是胡效赫創(chuàng)業(yè)之初就定下的目標。而基流科技正開發(fā)的,正是針對人工智能設(shè)計的分布式GPU系統(tǒng),也被稱為算力集群?！皠?chuàng)業(yè)一年半以來,基流科技建設(shè)了國內(nèi)最大的私有化單體算力集群?！焙Ш照f,“我們打破了行業(yè)里很多既定的共識,比如證明AI訓練并非時延敏感型,而是帶寬敏感型;我們跨30公里實現(xiàn)了廣域網(wǎng)的大模型訓練而沒有帶來算力損失,在跨50公里時能保持98-99的算力?！边@在世界范圍內(nèi)都是開創(chuàng)性的。

　　光速光合在2024年年初完成了對基流科技的Pre-A輪領(lǐng)投。

　　光速光合合伙人朱嘉表示,AI大模型的快速發(fā)展,對高性能算力的訴求日益增加,但大規(guī)模集群算力搭建壁壘高,國內(nèi)目前有千卡以上大規(guī)模集群搭建技術(shù)能力的團隊很少,基流科技目前是中大型算力集群的解決方案提供商,累計建設(shè)和調(diào)優(yōu)十余個集群,擁有萬卡集群落地經(jīng)驗,這在國內(nèi)非常稀缺。

　　1、光速光合助力基流科技,共筑高效算力

　　光速光合深知在AI大模型時代,高性能算力是解鎖無限可能的金鑰匙?；骺萍纪ㄟ^打造高效算力超級系統(tǒng),突破傳統(tǒng)算力瓶頸,實現(xiàn)算力資源的最優(yōu)配置與最大化利用。公司成功研發(fā)出集算力管控調(diào)度、調(diào)優(yōu)運維及高速互聯(lián)硬件于一體的全方位解決方案,不僅顯著提升了GPU集群的性能表現(xiàn),更在成本節(jié)約上取得了突破性進展,為AI產(chǎn)業(yè)的蓬勃發(fā)展注入了強勁動力。

　　1967年,IBM公司計算機架構(gòu)師吉恩·阿姆達爾提出了一個經(jīng)驗公式,表明系統(tǒng)性能提升的潛力受到系統(tǒng)中可并行化部分的限制,即使并行處理器的數(shù)量無限增加,整體性能提升的上限也受到很大程度的制約。

　　簡單來說,算力集群的計算速度并不能隨著GPU數(shù)量的增長而無限疊加,就像1個人10天可以蓋一棟房子,10個人只需要1天,但100個人仍然需要1天的時間——其他90個人可能因為擠不進工地只能閑著。

　　訓練大模型也是這樣。據(jù)Gartner的一份報告稱, GPT-3.5的訓練過程中,使用了由一萬個英偉達A100 GPU組成的高性能算力集群,在GPT-4上則提高到了約25000個A100 GPU,但其算力利用率僅為32至36,算力浪費嚴重。

　　基流科技的工作就是設(shè)計出一套系統(tǒng),能夠組織幾千人,甚至上萬人盡可能快地蓋好更多房子。

　　胡效赫表示,基流科技的產(chǎn)品主要面向三個維度,包括算力管控調(diào)度平臺、算力調(diào)優(yōu)運維平臺和高速互聯(lián)硬件。目前,公司除了整套算力集群建設(shè)解決方案外,在集群管理、計算引擎和高速網(wǎng)絡(luò)三個層次上都進行了產(chǎn)品化并有逐步落地,幫助AI企業(yè)將GPU合理的組織起來,并盡可能地提高交付效率和 GPU利用率。

　　目前,基流科技的算力集群方案可以為GPU集群提升超20的性能,幫助客戶在千卡環(huán)境中節(jié)省成本上千萬元,在萬卡環(huán)境中節(jié)省數(shù)億元。

　　2、光速光合:著眼技術(shù)變革,共繪千億級市場藍圖

　　光速光合以獨到的市場眼光,前瞻性地布局于全球算力的千億級市場藍圖之中。面對算力產(chǎn)業(yè)蓬勃發(fā)展的浪潮,深刻洞察人工智能對算力的極致需求,不僅關(guān)注現(xiàn)有市場的快速增長,更著眼于未來技術(shù)范式的變革。

　　根據(jù)IDC的統(tǒng)計,2022年全球計算設(shè)備算力總規(guī)模達到906EFlops,增速達到47。算力產(chǎn)業(yè)蓬勃發(fā)展,預計未來五年全球算力規(guī)模將以超過50的速度增長,到2025年,全球計算設(shè)備算力總規(guī)模將超過3 ZFlops注:1 ZFlops=10E9 TFlops。

　　在人工智能爆發(fā)的時代,算力的重要性不亞于工業(yè)時代的煤炭和石油。在數(shù)字化時代,在互聯(lián)網(wǎng)上傳輸?shù)氖切畔⒘?是算力對數(shù)據(jù)進行粗加工后的結(jié)構(gòu)化抽象;在智能時代,在互聯(lián)網(wǎng)上傳輸?shù)氖侵悄芰?是算力對數(shù)據(jù)進行深度加工與精煉后的模型化抽象。可以說,近幾年人工智能的集中爆發(fā),離不開算力和數(shù)據(jù)不斷堆疊而產(chǎn)生的“智能涌現(xiàn)”。

　　但算力和算力之間也是有區(qū)別的。胡效赫提到,基于傳統(tǒng)互聯(lián)網(wǎng)服務對算力的需求,和人工智能對算力的需求之間有很大的差別,因此需要重新設(shè)計網(wǎng)絡(luò)架構(gòu),相關(guān)技術(shù)還處于初級階段,在分布式計算、可擴展性甚至硬件方面還有很大的想象空間。他表示,在AI計算中,尤其在大模型預訓練過程中,一個任務要在多臺機器的多個節(jié)點同時運行,這個任務不可被切分,因此需要優(yōu)化并行策略、計算通信效能,以提高GPU利用率。這個過程對可擴展性要求非常高。

　　另一方面,部分AI計算的規(guī)模非常龐大,可能涉及數(shù)萬個連接點。當計算任務在多個節(jié)點、多臺機器、跨越多跳互聯(lián)時,一個硬件連接點壞掉后,整個任務會直接掛掉,這需要設(shè)計一套新的分布式計算引擎,以滿足容錯、監(jiān)控和故障解決的需求。

　　“這種技術(shù)范式的變化實際上是脫胎于分布式計算,在市場端很多廠商對技術(shù)的變化認知不夠明確,產(chǎn)業(yè)鏈上不同角色之間也缺乏共識?！? 胡效赫認為,“人工智能在我們看來是一個十年、二十年的發(fā)展機遇,算力基礎(chǔ)設(shè)施和模型的發(fā)展都才剛剛開始,市場認知會在一段時間后慢慢收斂、統(tǒng)一?！?/p>

　　根據(jù)信通院測算的結(jié)果,2022年我國計算設(shè)備算力總規(guī)模達到302 EFlops,全球占比約為33,連續(xù)兩年增速超過50,高于全球增速。智能算力需求呈現(xiàn)爆發(fā)式增長態(tài)勢,在算力規(guī)模中的比重將越來越高,未來五年復合增長率達52.3。

　　對算力的巨大需求造就了急速膨脹的市場規(guī)模。IDC數(shù)據(jù)顯示,2022年中國數(shù)據(jù)中心服務市場規(guī)模達1293.5億元人民幣,預計2027年市場規(guī)模將突破3000億元,其中用于推理的服務器的市場份額將達到62.2,市場規(guī)模預計突破1800億元。

　　3、光速光合助力基流科技突破技術(shù)難關(guān),構(gòu)建高性能算力生態(tài)體系

　　光速光合助力基流科技在算力浪潮中破浪前行,突破技術(shù)難關(guān),建立核心優(yōu)勢,專注于構(gòu)建高性能算力生態(tài)體系。通過不斷創(chuàng)新與優(yōu)化,成功解決了算力集群中的關(guān)鍵技術(shù)難題,實現(xiàn)了高效、低成本的算力供給。其產(chǎn)品與解決方案已廣泛應用于多個行業(yè)領(lǐng)域,為智能應用的落地提供了堅實的算力支撐。光速光合和基流科技深知技術(shù)迭代的重要性,將持續(xù)加大研發(fā)投入,引領(lǐng)算力技術(shù)發(fā)展新潮流,為國產(chǎn)算力崛起貢獻更多力量。

　　隨著算力市場的爆發(fā)式增長,基流科技將發(fā)展的重點放在了項目的具體落地上,積極參與中大型計算集群的建設(shè)和運維,嘗試將前期積累的工具變成更標準化的產(chǎn)品,同時探索國產(chǎn)化硬件適配和出海。

　　朱嘉看到,基流科技主打的基于開放生態(tài)的高性能算力網(wǎng)絡(luò)系統(tǒng)已具備高性能和低綜合成本的優(yōu)勢。公司成立僅一年多,產(chǎn)品就獲得多家落地客戶的驗證,發(fā)展速度很快。

　　“AI算力比拼的不光是單卡、單GPU芯片的能力,AI算力的核心背后體現(xiàn)的是由GPU形成的網(wǎng)絡(luò)集群能力。基流科技的產(chǎn)品可以使一個大規(guī)模的計算集群能高效地運營,解決GPU算力上的瓶頸問題?！敝旒伪硎?“我們期待公司能不斷迭代成長,成為全球AI最重要的基礎(chǔ)設(shè)施提供商?！?/p>

　　在基流科技成立的一年半的時間里,項目已落地一線廠商生產(chǎn)環(huán)境,為多個數(shù)據(jù)中心進行算力集群的設(shè)計、建設(shè)、調(diào)優(yōu)和運維,服務包括智譜AI、商湯科技、銀盾云、世紀互聯(lián)等廠商累計多個千卡到萬卡的算力集群,同時也推出了十萬卡的解決方案。

　　“我們希望通過建設(shè)這樣的超級系統(tǒng),形成高性能算力網(wǎng)絡(luò),最終支撐人工智能模型的應用落地和企業(yè)的IT迭代?！?/p>

　　“高性能算力基礎(chǔ)設(shè)施是大勢所趨,在未來的競爭當中,技術(shù)就是我們的核心競爭力。” 在胡效赫看來,創(chuàng)業(yè)與科研是有相似之處的:“做科研需要我們沿著一個大方向,在關(guān)鍵點上進行突破,方可獲得評審專家的認可;創(chuàng)業(yè)也要尋找一個大方向,在領(lǐng)域內(nèi)建立自己的優(yōu)勢,拿出企業(yè)需要的解決方案和產(chǎn)品,最終才能得到客戶和投資人的認可?！?/p>

　　胡效赫總結(jié):“從這個角度來看,無論是科研還是創(chuàng)業(yè),Talk is cheap,Show me the code才是最重要的。這個行業(yè)剛剛開始發(fā)展,我們的產(chǎn)品、技術(shù)在國內(nèi)公開市場處于先發(fā)位置,但未來有諸多挑戰(zhàn)需要解決,擴展優(yōu)化已建算力集群,做到‘后向兼容’,提升算力調(diào)度、運維、故障定位的自動化能力,支持長距離分布式算力集群落地。沿著高性能算力網(wǎng)絡(luò)方向砥礪前行,為國產(chǎn)算力添磚加瓦,支持國產(chǎn)大模型落地,我們相信在未來的十萬卡、百萬卡集群中一定會有基流的身影,相信基流能與國內(nèi)頭部大模型廠商一起走入通用人工智能時代?！?/p>

?