最近最新中文字幕完整版免费高清,一二三四观看视频社区在线,中文字幕人妻少妇引诱隔壁,一本色综合久久,怡红院免费的全部视频

最好的時代,也是最壞的時代:深度解析華為數據存儲的AI突圍之路

來源:CSDN
作者:CSDN
時間:2025-09-28
3752
這是最好的時代,也是最壞的時代。

在近日舉辦的華為全聯(lián)接大會2025數據存儲峰會上,華為公司副總裁、數據存儲產品線總裁周躍峰博士以狄更斯的名言開場,分享了華為對AI時代數據存儲產業(yè)變革的深刻思考。

“好”的一面是AI已深入各行各業(yè),存儲作為數據的核心支柱,其戰(zhàn)略地位日益凸顯,整個產業(yè)也站上了新的風口。“壞”則在于AI應用激增的背后,是諸如數據共享不暢、算力利用率不高、推理體驗不佳等一系列亟待解決的挑戰(zhàn)。針對于此,周躍峰全面闡釋了華為數據存儲持續(xù)進化的四大路徑,并明確了AI時代數據存儲的新標準。

1.高效數據歸集與融合,構建AI語料庫

眾所周知,AI大模型的強大,得益于海量數據的“投喂”。然而現實是,海量數據在源頭就被丟棄,能夠被有效保存下來的數據不到3%,且形成了一座座難以共享的“數據孤島”。這種數據現狀,極大地制約了AI模型的訓練和落地。

為此,華為提出了AI數據湖架構,旨在高效歸集海量語料,從根本上解決“存不下”和“連不上”的問題。

周躍峰介紹,支撐這一架構的核心技術是多模態(tài)數據融合。傳統(tǒng)的存儲系統(tǒng)通常只擅長處理單一類型的數據(如文件、塊或對象),而AI時代的數據是多模態(tài)的,包含文本、圖片、語音、視頻等多種形式。在實踐上,華為AI數據湖通過統(tǒng)一的元數據管理和智能索引,將這些不同來源、不同格式的數據整合為一個有機的整體,形成高質量的AI語料庫。

另一項必須的能力是按需流動與共享。AI數據湖不是一個靜態(tài)的“倉庫”,而是一個動態(tài)的“織網者”。它通過數據編織能力(Data Fabric)打破企業(yè)內部不同部門、不同業(yè)務系統(tǒng)間的數據壁壘,使數據能夠像血液一樣在整個組織中自由流動。

這一架構也已率先在行業(yè)落地,例如支持醫(yī)療行業(yè)海量非結構化數據的存儲,并實現跨院區(qū)、跨科室的互聯(lián)互通,讓沉睡的病理切片數據轉化為寶貴的AI訓練語料。

2.以存強算,提升AI訓練集群效率

在AI基礎設施建設者乃至企業(yè)管理層眼中,AI算力集群往往是昂貴的“吞金獸”,然而其可用度通常低于50%。究其原因,是GPU/NPU等算力單元大部分時間都處于空閑狀態(tài),在等待數據加載(off-loading)和模型訓練存檔(checkpoint)。這不僅造成了巨大的算力浪費,也嚴重拖慢了AI模型的訓練進程。

應對這些問題,華為提出了“以存強算”的理念,通過超高性能的AI存儲系統(tǒng),提升數據吞吐能力,以提升AI集群的實際利用率。

這一理念的關鍵支撐是華為OceanStor A系列存儲。這是華為研發(fā)的超高性能AI存儲產品,在MLPerf Storage v2.0基準測試中斬獲多項全球第一。其技術核心在于能夠提供超高的IOPS(每秒讀寫次數)和帶寬,滿足AI訓練中海量小文件和超大文件的混合讀寫需求。

針對AI訓練中模型存檔過程耗時巨大的問題,OceanStor A系列實現了高效的模型存檔。華為數據存儲技術人員介紹,一個原本需要30分鐘的模型存檔過程,在華為高性能AI存儲的加持下,可以縮短到2-3分鐘。從長周期訓練任務來看,這將GPU利用率從30%提升至60%甚至更高,將昂貴的算力資源從“等待”中解放出來,使其全身心投入到計算任務中,形成“以存強算”的價值。

3.UCM技術創(chuàng)新提升AI推理體驗

AI大模型推理,尤其是多輪對話和長上下文推理,面臨著嚴重的效率和成本挑戰(zhàn)。數據顯示,當前國外主流模型的單用戶輸出速度已進入200 Tokens/s區(qū)間(時延5ms),而我國普遍小于60 Tokens/s(時延50 - 100ms),如何提升推理效率成為了行業(yè)亟待解決的難題。

為此,華為發(fā)布了AI推理創(chuàng)新技術——UCM(Unified Cache Manager)推理記憶數據管理器,旨在通過多級緩存機制消除重復計算,顯著提升AI推理的效率。

具體而言,大模型的推理過程中,許多重復的前綴或上下文會被反復計算。UCM通過層級化自適應的全局前綴緩存技術,將這些“記憶”存儲在高性能存儲中。當用戶發(fā)起類似或重復的提問時,系統(tǒng)就可以直接調用緩存數據,避免重復計算,實測可將首Token時延最大降低90%。

“最重要的就是要存儲在整個推理過程當中積累的信息。”周躍峰表示。

傳統(tǒng)方案中,大模型的KV Cache(鍵值緩存)全部存儲在昂貴的GPU顯存中,容量受限,難以支持長上下文推理。而華為UCM將KV Cache擴展到外置的高性能AI存儲中,將知識庫容量從GB級擴展到了PB級。這一創(chuàng)新性架構使大模型能夠輕松應對長文本輸入,并實現“秒級”查詢響應,為AI Agent和知識庫問答等應用場景提供強大支撐。

值得一提的是,華為計劃后續(xù)將UCM的核心技術進行開源,與全行業(yè)開發(fā)者共同探索和完善AI推理的未來。

4.面向Agentic AI,構建AI記憶系統(tǒng)

業(yè)界普遍認為,AI Agent是下一代AI應用的重要方向。而AI Agent的爆發(fā),對數據存儲系統(tǒng)的需求不再是簡單的存和讀。未來的AI Agent需要具備類似于人類的“短期記憶”和“長期記憶”,以及業(yè)務域知識,以實現持續(xù)學習和高效決策。

所以,華為將數據存儲定位為AI Agent的“記憶系統(tǒng)”,通過高性能緩存分級存儲架構,為AI Agent提供了雙重記憶能力。高性能AI存儲如同人類的短期記憶,用于快速處理高頻、實時的交互數據;而海量數據湖則如同長期記憶,用于存儲和管理龐大的多模態(tài)知識庫。

華為正致力于構建一個能夠支持新型服務語義和多模態(tài)知識庫的強大數據底座,為AI Agent提供堅實、可靠的“記憶”,使其能夠更高效地執(zhí)行復雜任務,并從海量數據中提煉出有價值的信息。

5.AI存儲正向新的能力標準持續(xù)進化

從華為存儲發(fā)展的技術路徑中,我們看到了AI時代存儲的新標準。傳統(tǒng)的存儲能力標準通常聚焦于性能、數據范式和可靠性,而面向AI時代,華為數據存儲新的標準新增了如下關鍵能力:

  • 數據編織能力:能夠打破數據孤島,實現全局數據的可視、可管、可用。

  • 綠色節(jié)能:通過高密度存儲和重刪壓縮等技術,有效降低能耗和成本。

  • 可擴展性:橫向擴展至EB級容量,縱向擴展實現算力加速。

這幾大維度的能力,共同構成了AI時代數據存儲的全新畫像。華為正通過持續(xù)的技術創(chuàng)新,為開發(fā)者和企業(yè)提供更高效、更可靠的AI數據存儲基礎設施,共同迎接AI大模型產業(yè)化落地的實際挑戰(zhàn)與機遇。

原文鏈接:點擊前往 >
版權說明:本文內容來自于CSDN,本站不擁有所有權,不承擔相關法律責任。文章內容系作者個人觀點,不代表快出海對觀點贊同或支持。如有侵權,請聯(lián)系管理員(zzx@kchuhai.com)刪除!
掃碼關注
獲取更多出海資訊的相關信息
個人VIP
小程序
快出海小程序
公眾號
快出海公眾號
商務合作
商務合作
投稿采訪
投稿采訪
出海管家
出海管家