2019年10月人工智慧學校針對台灣產業AI化的現況做調查，有效問卷數1095份，由來自於516家不同企業的校友們所填答。在問到其公司推動人工智慧應用上，最大的挑戰是什麼？約有六成五認為「資料不足或資料品質不佳」為最大挑戰，第二名則有3個選項幾乎為平手，都有5成的認同度，分別為「領導階層認知不足」、「資訊基礎建設不足」與「人才招募困難」。在實際的AI專案工作情境中，上述挑戰是非常顯而易見的。現在，要進行需要大量運算的AI開發工作，大部分都需要GPU的支持才能夠加快速度與成效。然而，目前對產業而言，在使用GPU時，若沒有管理軟體的協助，其實不僅投入成本高、非常昂貴，且往往事倍功半。 數位無限公司發現，AI工程師在使用GPU伺服器進行AI運算時，經常性的會發生GPU資源無法隔離、資源互相占用、資源額度不足，以及資源使用效率低落或難以管理等問題。對剛開始做AI專案的工程師而言，還需另外學習docker操作指令以及自行管理軟硬體環境的情況，倘若底層架構權限暴露在外，當有一個人下錯指令，就會導致全機無法使用。現行的GPU伺服器在沒有管理平台支援的情況下，無身分認證的機制，所以若有濫用占用的情形是無法追查的，只能等待資源被釋放。而在開發過程中，AI工程師通常是各做各的AI應用框架，所以每個人都要重複下載安裝，其實無形中浪費了很多時間以及資源。 在一般情況下，AI專家並不熟悉GPU虛擬化技術、儲存裝置、網路系統等架構層相關配置，這些資源都是由IT部門在管理的，但對這些IT人員來說，他們的痛點也很多。一來，使用者需求繁複，使得管理雜亂無章，很多時候，需求又急又趕，時常打亂工作排程。而當主管關切資源使用狀況時，由於沒有管理軟體可以監控GPU伺服器的使用情形，因此彙整資料很不容易，對資源掌握度差，是誰在用、用多久、剩餘資源等資訊皆不透明。若要協助AI工程師完成他們所需要的環境，還需具備docker與kubernetes架構經驗，這又是傳統IT人員所沒有的技能，因此，多數企業導入AI困難重重。 為了加速AI落地，減輕使用者進入門檻與降低管理者負擔，數位無限整合Kubernetes容器化技術基於自主研發專利Skyport技術開發了AI計算管理平台「AI-Stack」，可將單一GPU伺服器或伺服器叢集轉變為可控可管、可共享、可橫向擴容的機器學習運算環境資源池，為GPU運算資源帶來彈性、高效協作，與運作成本效益提升。 Kubernetes是Google開源的容器集群管理系統，也就是基於容器技術的一個PaaS平臺。2014年，Google首次對外宣布Kubernetes，隨後於2015年7月21日釋出Kubernetes v1.0，就在第一版釋出後，Google與Linux基金會合作成立了Cloud Native Computing Foundation（CNCF）開源社群，並將Kubernetes作為種子技術捐贈給CNCF。不僅如此，Google每年都投入大量工程師全職開發Kubernetes，因此Kubernetes目前有一統容器集群管理技術平臺的趨勢。Kubernetes亦被廣泛使用於諸多雲端產品中，例如Red Hat的OpenShift、CoreOS的Tectonic、IBM的IBM私有雲產品、精靈雲的EcOS以及VMware的PKS等。 AI-Stack產品中除整合Kubernetes(以下稱K8s)容器集群管理與部署機制外，更借重K8s的進階功能，提供AI使用者下列管理與實務的深化操作： 而AI-Stack內含的多人共享GPU、自定義鏡像、身分登入驗證、多租戶架構、資源額度管理、定時排程、審核申請機制、儲值與錢包等功能，再搭配上述K8s的深化功能加乘效應，使數位無限的AI-Stack機器學習管理平台，將GPU資源叢集的供給方與AI開發需求方完美結合，賦予GPU管理最佳化資源分配效益。 AI-Stack已成功導入多所大專院校，包含成功大學、台北科技大學、義守大學、雲林科技大學、政治大學等，同時也有政府單位、公用事業、半導體廠商使用於智慧教育、智慧製造等情境。今年，亦將陸續有金融業及醫療業用戶採用，協助強化AI開發流程。未來，AI-Stack除了能夠管理地端GPU資源，還可協助客戶在有高算力需求時，提供基於「本地+公有」混合雲環境部署。