研華攜手滿拓科技、群聯舉辦Edge AI工程師實戰營
2024/7/16
台北，7月17日，2024 – 全球工業物聯網領導廠商研華公司 (TWSE：2395）與滿拓科技、群聯電子將於7月26日（五）在研華林口智能園區，共同主辦首場「Edge AI 工程師實戰營- LLM大型語言模型班」。本次實戰營旨在幫助企業快速建立「可負擔的」自有生成式AI平台，透過研華AIR-520 LLM邊緣運算伺服器所提供的獨家功能，包括預訓練模型、AI推論、大量部署『Edge AI SDK & DeviceOn』，結合群聯aiDAPTIV+技術與滿拓科技的DeepExpert落地解決方案，讓企業客戶僅需針對內部資料進行設定及微調，即可輕鬆打造專屬的生成式AI環境，擺脫GPU和VRAM的高昂建置成本。
研華台灣營運處副總經理林其鋒表示，台灣生成式AI市場將逐漸發展企業自有平台，而嵌入式應用需求多樣且廣泛，企業在導入GenAI時即面臨技術與資金的門檻，也因此研華希望與合作夥伴，從培育人才、技術服務、商務諮詢著手，協助客戶降低生成式AI模型落地的困難，「Edge AI 工程師實戰營- LLM大型語言模型班」正是研華推動企業自有LLM平台的第一步，竭誠歡迎有實作需求的企業用戶參加。
滿拓科技執行長吳昕益指出，研華擁有最完整的邊緣AI運算軟硬體整合方案，並有多年為嵌入式客戶服務的經驗，深知企業在落地LLM所面臨的挑戰。因此，滿拓與研華攜手合作，從人才培育解決客戶痛點，本次課程將結合研華AIR-520 LLM邊緣運算伺服器進行實機演示，包括LLM Fine Tune平台、文檔管理、客戶服務及Fine Tune概念等，並搭配Chat應用於醫療照護、半導體、零售行業等客戶案例。
工業級LLM邊緣運算解決方案 僅傳統模式1/10的訓練成本
研華「Edge AI 工程師實戰營- LLM大型語言模型班」將於7月26日（五）全日於研華林口智能園區舉行，首批招生20位企業學員。課程將以研華AIR-520 LLM邊緣運算伺服器作為實作硬體平台，其搭載AMD EPYC 7003 Milan系列CPU、支援4個PCIex16擴充插槽、可容納最多4張NVIDIA RTX 4000 Ada GPU卡，最高可支援Llama-3 70B LLM容量。AIR-520結合群聯aiDAPTIV+技術，提供on-premise Fine Tune LLM訓練的服務，解決在cloud 端執行生成式AI模型微調運算所造的資料外洩疑慮，可維持資料安全性，且模型訓練成本相比傳統模式僅1/10。此外，AIR-520搭配Edge AI SDK開發套件與其它研華邊緣推論運算裝置(如：AIR-030、AIR-310等)，不僅簡化了LLM Fine Tune訓練，並且提供緣推論運算裝置上的快速評估(Inference Benchmark Tool)、推論運行開發工具(Inference Runtime SDK)和推論部署平台(Inference Deployment Platform)。透過搭配DeviceOn加值軟體工具，針對大量、遠端的邊緣系統，方便地管理AI模型、程式的更新。
此次實戰營將分享醫療照護、半導體、零售行業的LLM實作案例，瞄準企業在職工程師、產品經理、軍公教、科研單位的實作需求，與其他課程不同的是，學員結業後即可打造企業自有LLM，從硬體驗證、大型語言模型訓練、AI推論到大量部署的軟硬體整合。
