由於美國出口限制,中國很難獲得 HBM 等關鍵資源。對此,華為打算幫助中國科技市場不再依賴 HBM。根據市場消息,華為開發一款名為「統一快取管理器」(Unified Cache Manager,簡稱 UCM)的新軟體工具,無需使用 HBM 即可加速大型語言模型(LLM)的訓練與推理。
華為週二(12 日)在 2025 金融 AI 推理應用落地與發展論壇上發表 UCM 工具。該軟體根據不同記憶體類型的延遲特性,以及各類 AI 應用的延遲需求,將 AI 資料分配在 HBM、標準 DRAM 與 SSD 之間。
華為資料儲存產品副總裁躍峰指出,目前 AI 推理面臨三大問題:「推不動」(輸入內容太長超出處理範圍)、「推得慢」(回應速度太慢)、「推得貴」(運算成本太高)。
UCM 透過「分層記憶」的 Key-Value 快取架構,根據系統的可用資源速度最大化。
據介紹,華為這次發布的 UCM,是做為一款以 KV 快取(KV Cache)為中心的推理加速套件,融合多類型緩存加速演算法工具,分級管理推理過程中產生的 KV 快取記憶數據,擴大推理上下文視窗,實現高吞吐、低時延的推理體驗,並降低每 Token 推理成本。
UCM 在發表前已進行過長時間的實際應用測試。周躍峰指出,UCM 曾在中國銀聯中試用,應用場景包括「客戶語音分析、行銷規劃與辦公協助」。根據華為數據,搭配傳統快取與儲存技術的系統,在 AI 推理任務中使用 UCM,可將延遲降低最高達 90%,吞吐量提升至 22 倍。
華為計劃 9 月正式開源 UCM,屆時將在魔擎社區首發,後續逐步貢獻給業界主流推理引擎社群,並共享給業內所有 Share Everything(共享架構)儲存廠商和生態夥伴。
由於目前 HBM 晶片幾乎全由 SK 海力士、三星及美光生產,而美國一直致力於阻撓中國購買或自製 HBM,而 UCM 的出現有望擺脫美國牽制,加速中國晶片技術自主化。
(首圖來源:Flickr/Web Summit CC BY 2.0)
文章看完覺得有幫助,何不給我們一個鼓勵
請我們喝杯咖啡您的咖啡贊助將是讓我們持續走下去的動力
總金額共新臺幣 0 元 《關於請喝咖啡的 Q & A》 取消 確認(责任编辑:澎恰恰)
一年多了,友友租车依然很难获得用户好评。...[详细]
又或者通过炒作个性标签获得的成就过于耀眼,使他们难以放弃这一更简单的成功道路,以至于妄图通过个人影响力带动整个公司的运营,这是更致命的错误。...[详细]http://n.sinaimg.cn/front/275/w1125h750/20190302/kubs-htstzcc4600401.jpg
阿里创投持有公司15.50%的股份,为公司的第二大股东。...[详细]
2.文案功底 文案是网站运营的基础知识,网站基础的内容搜集、整理、组织和排版的功底是必需的,好的网站运营要有很强的文案功底和持续的内容输出,比如网站标题、页面标题、页面策划、栏目内容等等很多地方...[详细]
广告变现相对好一点,可能跟获取用户的逻辑很像,但是进入到付费的角度以后,其实很多地方完全不一样了。...[详细]
再比如作为非标准化的人的社交,可以将其行为元素中标准化的场景抽离出来,如出行排期的交叉,做出行社交、做顺风车。...[详细]
但是,新能源车的政策正在慢慢收紧,牌照只会越来越珍贵。...[详细]
我做过几年科技媒体记者,然后去了一家公司做PR,在我写稿的那几年里,我和大部分同行都过着循规蹈矩的生活:日常跑会,采访,写稿,梦想着有一天自己的稿子能够十万加,然后自己在圈子里扬名立万。...[详细]
1、不要纠结,先去做 我属于思考型人格吧,做任何事情在没有厘清思路前我会岿然不动,但在这个“唯快不破”的文化里,我很受煎熬,但也自然有成长。...[详细]【聚看点】最高25年!北京二中院对范宝胜等21人涉黑案作出一审判决
“橘子娱乐”进入阿里应用分发视野,意料之外情理之中! 橘子娱乐切中8亿网民中最大阅读刚需,主攻泛娱乐化内容,尤其是明星娱乐报道,娱乐内容的魅力就在于老少咸...[详细]