研華透過 NVIDIA 加速的 Edge AI 運算平台推動開源 LLM 部署
2025/3/19
台灣台北，2025 年 3 月 19 日 —— 研華科技作為工業邊緣 AI 平台的領導者，正透過其最新的 NVIDIA 加速 Edge AI 運算平台，革新開源 大型語言模型（LLM） 的部署。研華的解決方案支援 DeepSeek、Llama 及其他開源 LLM，並運用 NVIDIA 的先進 GPU 加速技術、TensorRT™ 優化 以及 Jetson 邊緣運算，實現可擴展、低延遲的 AI 推論。
全面性的 Edge AI 系統，助力開源 LLM 部署
研華提供一系列 可擴展的 NVIDIA 加速 Edge AI 平台，滿足不同層級的 LLM 部署需求，從輕量級推論到完整的大規模 AI 模型訓練。無論是 裝置端聊天機器人、特定領域 AI，或 大規模 LLM 生命週期管理，研華的 Edge AI 解決方案均可在不同 AI 工作負載之間提供最佳的性能、效率與擴展性。
高效 LLM 推論，適用 Llama 與 DeepSeek
研華的 NVIDIA 加速 Edge AI 運算平台 提供可擴展的高速推論能力，支援 Llama 和 DeepSeek 等開源 LLM，讓 AI 工作負載從 緊湊型邊緣裝置 到 強大 AI 伺服器 均能高效運行。
研華 Edge AI 系統的 LLM 性能概覽
1️⃣ MIC-711-OX（NVIDIA Jetson Orin™ NX 16GB）—— 輕量級 Edge AI 推論（100 TOPS）
🔹 關鍵優勢：低功耗、緊湊型 AI 推論，適用於即時邊緣處理
🔹 目標應用：
- AI 驅動的智慧裝置（物聯網助手、機器人嵌入式 AI）
- 邊緣 AI 用於客戶互動（零售自助機、智能語音系統）
- 工業 AI 監控（預測性維護、品質控制）
- 在線與離線 AI 助理
2️⃣ MIC-770V3 + MIC-75M20（Intel® Core™ i7-12700E + NVIDIA RTX™ 4000 SFF Ada）—— 最佳化 LLM 推論（300 TOPS）
🔹 關鍵優勢：增強運算能力，加速 LLM 推論速度與效率
🔹 目標應用：
- 企業 AI 助理（AI 驅動的電子郵件與文件摘要）
- AI 客戶服務（聊天機器人、語音 AI）
- 裝置端 AI 生產力工具（程式開發與自動化工具）
- 網路安全與詐騙檢測 AI
3️⃣ SKY-602E3（AMD EPYC™ 8534P+ 2x NVIDIA RTX™ 4500 Ada）—— 特定領域 AI 訓練（1000+ TOPS）
🔹 關鍵優勢：
- 支援 LLaMA 模型的微調與領域適配
- 支援專業產業的客製化LLMs
🔹 目標應用：
- 金融與法律 AI 模型（法律文件分析、風險評估）
- 醫療 AI 助理（診斷支援、病患數據分析）
- AI 知識管理（企業搜尋、企業級 AI 聊天機器人）
- AI 驅動的軟體開發助理（程式碼生成、錯誤偵測）
憑藉 NVIDIA 全棧加速、優化的記憶體分配與高效能運算，研華的 Edge AI 平台可確保 在多元產業應用場景下實現快速、可擴展的 LLM 推論。
引領 Edge AI 未來
研華的 全棧 Edge AI 運算平台，基於 NVIDIA Jetson 與數據中心 GPU，協助各產業部署 AI 原生應用，實現 即時、低延遲的 AI 運算。透過與 NVIDIA 深度合作，研華正在加速 邊緣 AI 發展，推動開源 LLM 部署的極限，幫助企業釋放 AI 驅動轉型的全部潛能。
👉探索更多研華AI方案
# # #
關於研華
研華為物聯網智能系統與嵌入式平台產業之全球領導廠商，並以「智能地球的推手」作為企業品牌願景。為迎接物聯網、大數據與人工智慧之大趨勢，研華提出以工業物聯網雲平台WISE PaaS為核心之物聯網軟、硬體解決方案，以協助夥伴客戶串接產業鏈；此外，亦積極偕同各產業夥伴「共創」產業生態圈，以加速實踐產業智能化之目標。（www.advantech.com）
媒體聯絡人：
研華公司 /產業雲暨影像科技事業群行銷部
陳祥筑 Julia Chen
Tel: +886-2-7732-3399, Ext. 1325
Mobile: 0975-150-580
JuliaHC.Chen@advantech.com.tw
-25/MIC-770-V2_03---(1)20221207100333.jpg)
-25/MIC-711-ON_0320230517094751.jpg)
-25/SKY-602E320240201102210.png)
