既授之以魚也授之以漁:浪潮信息正式推出大模型智算軟件棧OGAI

    來源: DeepTech深科技2023-08-30 03:46:53
      

    “我們今天只是剛剛打開生成式AI的一扇門,未來有多遠,風景有多優美,目前都還未知。但大家基本上認可這個大門已經打開了,未來還有足夠大的創新空間,因此我認為還沒有到定義中國大模型意義的階段。”近日,在浪潮信息大模型智算軟件棧的發布會上,浪潮信息高級副總裁劉軍如是表示。


    (資料圖片)

    圖丨浪潮信息高級副總裁劉軍

    隨著AIGC技術的不斷演進,人工智能正在朝著通用性的方向發展和更新。和狹義上所說的人工智能不同,通用人工智能的核心在于,擁有像人類一樣的邏輯理解能力和工具使用能力,從而實現跨領域、跨任務和跨模態工作的目標。

    如今,以ChatGPT為代表的大語言模型,為通用人工智能的發展帶來了技術源動力。其能基于巨量的數據和復雜的訓練方式進行訓練,并以此提高自身的學習能力和泛化能力,進而實現在邏輯推理能力和涌現能力等方面的爆發,這是跨時代的意義。

    因此,要想進一步推動通用人工智能的發展,必須在功能強大的大模型的基礎之上,提升其邏輯推理能力。與此同時,由于充沛的算力是發展大模型的前提,所以如何高效地利用算力、釋放算力價值,便成為了助推大模型發展的關鍵。

    發布大模型智算軟件棧,為大模型開發和落地打造高效生產力

    在浪潮信息看來,“開發大模型是一項復雜的系統工程,既要授之以魚,也要授之以漁”。尤其是對于那些深入布局大模型、重視打造自身核心競爭力的企業來說,更是需要綜合考量一系列問題,包括對算力系統的部署和優化,采集、清洗和處理數據,以及訓練、推理、遷移模型等。

    基于此,本著幫助企業在更省時省力的條件下,訓練出更快、更穩、更智能的大模型的初心,浪潮信息在本次會上正式發布大模型智算軟件棧OGAI(Open GenAI Infra)“元腦生智”。

    圖丨浪潮信息大模型智算軟件棧發布

    據介紹,OGAI能為大模型業務提供AI算力系統環境部署、算力調度及開發管理能力的全棧全流程的智算軟件棧,旨在為大模型開發和應用打造高效的生產力,以加速生成式AI產業創新步伐。

    客觀來看,在云計算時代,購買云計算服務與直接購買設備,就客戶而言,只是財務投資模型不一樣,但路徑都是相通的。但大模型時代的算力需求則不同,目前大模型研發已經進入萬卡時代,人工智能算力資源已經成為大模型行業巨大的進入門檻。

    就如浪潮信息人工智能與高性能應用軟件部AI架構師Owen ZHU在會后的訪談中表示:“訓練大模型的算力平臺并不是算力的簡單堆積,隨著模型的規模越來越大,單卡算力與模型總算力需求之間存在著巨大的差異。因此我們希望在提供硬件的基礎上,進一步幫助客戶解決大模型生產可能會遇到的問題。 OGAI正是如此應運而生:讓煉大模型省時、省力,讓大模型更快、更穩、更智能,助力百模真正實現“競速AIGC”。

    圖丨大模型智算軟件棧

    詳細來說,該產品包含以下幾層:

    第一,L0基礎設施層,也即智算中心OS。它能提供多租戶、裸金屬的AI算力運營運維支撐平臺。其中,高效的裸金屬服務支持分鐘級部署上千規模裸金屬節點并按需進行彈性擴展,實現異構計算芯片、IB、RoCE高速網絡、高性能存儲等環境一鍵獲取,并實現計算、網絡、數據隔離以保障業務安全。

    第二,L1系統環境層,也即PODsys。它能提供開源、高效、兼容、易用的智算集群系統環境部署方案,實現自動化部署和彈性擴展,并提高系統的可用性和擴展性,幫助用戶在該環境下搭建大模型。

    第三,L2調度平臺層,也即AIStation。作為面向大模型開發的商業化人工智能算力調度平臺,針對大模型訓練中常見的訓練中斷難題,可實現訓練異常快速定位,斷點自動續訓。通俗地說,這一層能夠幫助用戶在動輒數周至數月的訓練時長下,避免因硬件設備失效而帶來的效率損失問題,進而大幅提高模型訓練的生產力。

    第四,L3模型工具層,也即YLink。它能提供經過驗證的數據治理、大模型預訓練和微調開發工具鏈,助力用戶降低模型開發和落地的門檻。

    第五,L4多模納管層,也即MModel。它能作為多模型管理與服務平臺,能夠幫助用戶更好地管理和評估模型,加速模型的部署和應用。

    當下,不管是自己開發大模型,還是用戶采用第三方模型適配私有數據都會遇到一個問題,那就是不存在只用一家模型的情況,會在驗證多家模型的過程中,找到最適合的求解。而L4層便能夠幫助用戶解決這一問題。

    Owen ZHU說:“總的來說,我們針對每一層提煉了在這樣一個作業環境下看到的關鍵問題,并通過自身在大模型方面的實踐與服務客戶的專業經驗,來開發一些軟件和對應的方案,幫助用戶實現效率提升。”

    圖丨浪潮信息人工智能與高性能應用軟件部AI架構師Owen ZHU

    “希望大模型不再是陽春白雪的技術”

    自2022年年底大模型熱潮掀起以來,該領域的從業者便一直在孜孜不倦地推動大模型通用能力的提升。在此基礎上,其也在積極探索大模型的場景應用落地。

    但在布局上,目前還存在一定的局限性。這是因為:首先,大模型的訓練數據主要源于公開數據集或網絡數據,特定行業的專業數據較為有限;其次,大模型的訓練需要大量計算資源,并經歷較長的訓練周期,對于大模型開發者和企業用戶來說耗時耗力。

    為了破解應用落地過程中的痛點需求,未來,浪潮信息也將依托元腦生態,聚合產業左手伙伴(大模型公司和AI科技公司),提供了一站式行業/領域大模型解決方案,包括模型預訓練和微調等,以助力右手服務型伙伴(系統集成商和軟件開發商)提升大模型行業解決方案交付服務能力,進而幫助企業客戶快速打造專屬大模型。此外,也可以滿足客戶基于自身業務場景需求,按需定制不同規模和場景的模型服務。

    Owen ZHU在會后表示:“從浪潮信息的立場來說,我們的愿景是希望大模型不再是陽春白雪的技術,不再只有少數科技公司和企業才能夠玩得起、用得起。通過OGAI,我們希望其能成為一種更普適化的技術,讓我們的客戶或所有客戶都能使用大模型,并且用好大模型。”

    “助百模,智千行。 基于元腦生態,左右手伙伴可以彼此攜手,實現一個N×M的效應,進而使得模型伙伴領先的能力得到快速落地。”劉軍進一步解釋了業內關心的OGAI未來助力AIGC產業化落地的路徑。

    事實上,在大模型領域,浪潮信息早已開始布局。作為業界率先推出大模型的企業之一,其于2021年發布了參數規模高達2457億的中文AI巨量模型“源1.0”。

    在算力效率層面,源1.0采用張量并行、流水線并行和數據并行的三維并行策略,提出面向效率和精度優化的大模型結構協調設計方案,將算力效率提到45%的水平。在數據訓練方面,建立端到端數據工作流程,通過對866TB海量數據的清洗,獲得5TB高質量中文數據集。

    據了解,該模型在語言智能方面表現優異,曾獲得中文語言理解評測基準CLUE榜單的零樣本學習和小樣本學習兩類總榜冠軍。

    目前,基于“源”大模型的能力,以及深度融合復雜的服務場景,浪潮信息已在多個領域實現引領大模型的行業應用,比如,智能客服、智慧政務、智能文創等領域。

    在智能客服領域,浪潮信息開發了智能客服大腦“源曉服”,能通過對知識庫的自主學習,達到覆蓋終端用戶92%的咨詢問題,并將復雜技術咨詢的業務處理時長降低65%,從而實現高達160%的整體服務效率。

    在智慧政務領域,浪潮信息打造了AI社區助理“臨小助”,為基層社區工作者提供一對一群眾工作能力培訓。據悉,目前,該產品已投入使用,并在某高頻場景下,幫助社區工作者的學習效率實現5倍的提升。

    另外,浪潮信息還推出了“源1.0”開源開放計劃,為開發者快速孵化出更多創新應用提供助力。據介紹,目前其已開放模型API、工具鏈、數據集,構建了開發者社區生態,并匯集將近萬名的開發者。

    為未來大模型更高效、更良性的發展尋找最優解。正是基于這樣的出發點,浪潮信息具備工程經驗,也擁有從算力、軟件棧等各個層面推動大模型高效發展的能力。從這個角度看,OGAI的推出正是最好的回答。

    關鍵詞:

    責任編輯:sdnew003

    相關新聞

    版權與免責聲明:

    1 本網注明“來源:×××”(非商業周刊網)的作品,均轉載自其它媒體,轉載目的在于傳遞更多信息,并不代表本網贊同其觀點和對其真實性負責,本網不承擔此類稿件侵權行為的連帶責任。

    2 在本網的新聞頁面或BBS上進行跟帖或發表言論者,文責自負。

    3 相關信息并未經過本網站證實,不對您構成任何投資建議,據此操作,風險自擔。

    4 如涉及作品內容、版權等其它問題,請在30日內同本網聯系。