智微智能的HAT智算云平臺(tái)如何解決異構(gòu)算力管理難題？

HAT智算云平臺(tái)是智微智能子公司騰云智算針對(duì)算力資源分散、異構(gòu)芯片統(tǒng)一管理難度較高及集群建設(shè)復(fù)雜等問題推出的核心產(chǎn)品。HAT分別對(duì)應(yīng)Heterogeneous Resource Management、Abundant Computation Power和Tailored Cluster Solution三項(xiàng)底層能力。

在異構(gòu)算力管理方面，HAT平臺(tái)支持NVIDIA、AMD、昇騰等不同芯片架構(gòu)，可對(duì)跨芯片、跨機(jī)房及跨云環(huán)境的算力資源進(jìn)行統(tǒng)一納管，并通過資源池化、虛擬化和細(xì)顆粒度調(diào)度，提高異構(gòu)算力資源的調(diào)配靈活性和使用效率。

在算力資源供給方面，騰云智算接入北京、上海、深圳、新加坡、吉隆坡及東京等地的機(jī)房和算力資源，為模型訓(xùn)練、推理及行業(yè)應(yīng)用部署提供算力支持。

在定制集群建設(shè)方面，騰云智算可根據(jù)客戶的算力規(guī)模、芯片類型、模型特點(diǎn)、部署環(huán)境及成本預(yù)算，提供涵蓋基礎(chǔ)設(shè)施、算力設(shè)備、云平臺(tái)和運(yùn)維服務(wù)的集群建設(shè)方案。

在完成底層算力資源接入與統(tǒng)一管理的基礎(chǔ)上，HAT平臺(tái)進(jìn)一步向模型開發(fā)、訓(xùn)練及部署環(huán)節(jié)延伸。模型后訓(xùn)練方面，平臺(tái)支持SFT、DPO及QAT量化壓縮等任務(wù)，可完成任務(wù)提交、訓(xùn)練流程管理及底層算力資源調(diào)度；模型部署方面，兼容開源及自研模型，支持鏡像封裝、彈性部署、自動(dòng)擴(kuò)縮容和運(yùn)行監(jiān)控；開發(fā)與運(yùn)行環(huán)境方面，提供預(yù)集成PyTorch、TensorFlow等深度學(xué)習(xí)框架的容器實(shí)例，支持SSH和Jupyter接入，并提供整卡、切卡、按需及包周期等資源配置與計(jì)費(fèi)方式。