以GPU算力治理為核心數位無限AI-Stack助攻企業落地AI應用
生成式AI技術普及加速,導入AI應用成為企業推動數位轉型的重要課題。不過從概念驗證到實際部署,過程中仍存在諸多技術與管理障礙。數位無限(Infinitix)執行長陳文裕指出,運算基礎設施對企業的重要性愈來愈高,如何有效運用GPU資源,將是AI應用能否順利落地的關鍵因素。
突破AI導入瓶頸 AI-Stack讓GPU算力資源管理效率最佳化
陳文裕進一步表示,企業在AI導入過程中會面臨兩大核心挑戰,首先是「該用AI做什麼?」,目前多數企業仍缺乏明確應用命題,不易從既有業務需求中抽象出適合的AI應用;其次是「該如何將AI導入企業內部?」,在找到應用方向後,仍須克服設備部署、算力資源配置、系統整合等技術門檻,數位無限的AI-Stack解決方案讓數據完整且透明,並藉由簡易直覺的友善介面快速配置,讓GPU運算資源的使用效益最佳化。
AI-Stack的核心功能包含三大面向。首先是「GPU虛擬化切割」技術,此功能可依據工作負載需求,將單張GPU切割成2GB、4GB、10GB等不同規格的多個子單元,讓不同任務能即時共享運算資源,將一般系統的30% GPU利用率提升至90%。
其次是「資源動態調度與策略彈性配置」,系統能自動排程工作任務與資源分配,例如將推論作業集中於白天執行,訓練作業則安排在夜間進行,充分利用不同時段的資源需求差異。
第三項功能是跨節點GPU調度與分散式運算支援,可將多台GPU整合為統一的資源池,支援高效能分散式訓練或高效能運算,任務完成後再自動釋放資源,避免資源閒置。
AI-Stack採企業內部部署模式,透過直觀的圖形化介面,簡化模型資源規格選擇與部署流程。系統提供即時統計報表、成本分攤機制、詳細使用報告等功能,協助企業精準控管AI資源使用狀況,支援預算規劃與聲請作業。
此外,系統可支援尖峰與離峰時段的自動排程機制,避免資源浪費,同時確保重要業務在高峰時段獲得充足的運算資源。
橫跨多元產業場景 AI-Stack全面提升GPU應用效益
對於AI-Stack的應用範圍,陳文裕指出,需要GPU進行AI研發或部署的產業,包括半導體全產業鏈(IC設計、製造、封測、PCB、終端設備)、醫療院所、金融金控、製造業、電子業、能源電力,以及政府與研究機構。應用模式則可分為兩大類型。
一般自用型企業,可將AI-Stack作為內部AI開發與推論平台;算力中心型業者則可藉此建立GaaS(GPU as a service)平台,透過Token計費、應用市集等模式進行商業化營運。
目前AI-Stack已有多起具體應用案例,其中位於東南亞的電信業者導入AI-Stack後,成功轉型為AI運算服務平台,提供自助租用、Token計價、應用市集等服務;IC設計業者善用AI-Stack的GPU切割功能,用於模型訓練與輕量化部署驗證;金融機構則利用平台,加快協助AI模型在不同開發階段的部署速度,確保環境一致性,降低測試失敗機率與版本漂移問題。
陳文裕接著表示,在技術與市場兩大面向數位無限都具備獨特優勢。技術面上,該公司長期專注資源管理與虛擬化技術,具備GPU切割與即時調度的核心能力;市場面上,則熟悉系統整合商通路運作,與台灣、日本、馬來西亞、泰國等地代理商建立長期合作關係。
此外,數位無限也於2020年獲得NVIDIA Advisor Solution Partner資格認證,成為台灣唯一獲此認證的AI軟體公司。這項認證不僅提升了技術公信力,也協助該公司拓展日本、南韓與其他海外NVIDIA代理商合作,從而擴大國際市場能見度。
AI基礎設施關鍵推手 數位無限落實「Beyond AI, to Infinity」理念
對於未來規劃,陳文裕提到數位無限的角色定位已從GPU管理平台,逐步轉型為全方位AI基礎設施平台廠商。他強調AI時代對於完整基礎設施的需求,不再僅聚焦於GPU硬體,而是建構涵蓋系統、網路、儲存、資訊安全及管理的完整架構。
數位無限透過與當地外伺服器品牌廠商、OEM及ODM製造商建立緊密合作關係,形成軟硬體整合銷售的生態圈,並將自身定位為軟硬體橋接的關鍵中介者,讓企業可透過AI-Stack的軟體功能,有效調度硬體資源。
目前AI-Stack已歷經兩大版本迭代,GPU切割技術更發展至第三代。產品線採模組化策略,以IX代號系統發展出IXGPU、IXINFRA、IXLLM等功能模組,滿足企業、資料中心等不同應用場景需求。
未來希望以AI基礎設施關鍵平台供應商角色,協助客戶快速、精準、有效率的管理基礎設施,並加速AI應用部署,創造AI的實質商業價值。
陳文裕最後表示,數位無限的核心理念是「Beyond AI, to Infinity」。未來,將持續以產品與技術服務為核心,協助企業快速跨越AI導入門檻,實現AI價值落地,成為AI時代基礎設施轉型的重要推手。