Advantech ra mắt giải pháp máy chủ Edge AI cho Generative AI
14/06/2024
Advantech, công ty hàng đầu thế giới về IoT công nghiệp, hân hạnh được công bố giải pháp máy chủ Edge AI mang tính đột phá dành cho Generative AI, sử dụng công nghệ aiDAPTIV+ đã được cấp bằng sáng chế của Phison. Máy chủ Edge AI AIR-520, được trang bị bộ vi xử lý dòng AMD EPYC 7003, tích hợp SSD SQ ai100 AI, thẻ GPU NVIDIA RTX, Edge AI SDK và NVIDIA AI Enterprise để cung cấp giải pháp sẵn sàng để triển khai. Các công cụ AI sáng tạo như mô hình ngôn ngữ lớn (LLM) đang chuyển đổi việc quản lý tri thức doanh nghiệp bằng cách tự động hóa việc tổ chức, truy xuất và phân tích dữ liệu, từ đó tăng năng suất và cải thiện việc ra quyết định. LLM tùy chỉnh nâng cao độ chính xác, trong khi đào tạo biên tăng cường quyền riêng tư dữ liệu, mặc dù việc này có thể tốn kém hơn. Giải pháp này hỗ trợ tinh chỉnh LLM với 1-4 thẻ GPU và SSD SQ ai100 AI, cho phép doanh nghiệp đào tạo LLM một cách tiết kiệm chi phí trong khi vẫn bảo mật dữ liệu nhạy cảm ở biên.
Bốn giải pháp cung cấp cho các ứng dụng đa dạng
Advantech cung cấp bốn tùy chọn: AIR-520-L13B/L33B/L70B và L70B-Plus, được thiết kế riêng cho các quy mô và ứng dụng khác nhau. L13B lý tưởng cho các ứng dụng thời gian thực như chatbot và dịch ngôn ngữ. L33B phù hợp cho các nhiệm vụ phức tạp hơn, nâng cao năng suất và đổi mới trong sáng tạo nội dung. L70B vượt trội trong việc phân tích dữ liệu phức tạp và ra quyết định cho các lĩnh vực chuyên biệt. Ngoài ra, L70B-Plus, được trang bị nền tảng phần mềm NVIDIA AI Enterprise, cung cấp SDK AI toàn diện, đáng tin cậy và được tối ưu hóa với sự hỗ trợ dài hạn và dịch vụ tư vấn chuyên môn, đảm bảo triển khai hiệu quả các ứng dụng kinh doanh.
Cài đặt dễ dàng và nhanh chóng, được tối ưu hóa để tiết kiệm chi phí
Tất cả các giải pháp đều bao gồm SSD AI SQ ai100, tận dụng công nghệ aiDAPTIV+ của Phison. Các ổ SSD này hoạt động như một phần mở rộng của GPU vRAM, cho phép hệ thống tinh chỉnh LLM với số lượng thẻ GPU tối thiểu. Cách tiếp cận này không chỉ giúp giảm bớt rào cản về ngân sách mà còn giúp Edge AI Server trở nên nhỏ gọn hơn so với các máy chủ gắn trên rack truyền thống. Máy chủ AI biên AIR-520 đã được thiết kế để sử dụng trong nhiều ứng dụng AI biên khác nhau. Kích thước của nó tương đương với một máy tính để bàn và có thể được gắn trên giá với các phụ kiện thích hợp. Cấu hình thấp của nó cho phép dễ dàng triển khai môi trường tinh chỉnh AI biên, loại bỏ những lo ngại về không gian và bảo trì.
Phát triển GenAI nhanh chóng với các dịch vụ phần mềm
Ngoài khả năng tinh chỉnh LLM, Advantech còn cung cấp Edge AI SDK với GenAI Training Studio, được tải sẵn các mô hình Llama-2 13B/33B/70B cho các ứng dụng như chatbot và phân tích dữ liệu. Điều này giúp đơn giản hóa và tăng tốc quá trình đào tạo và đánh giá suy luận mô hình LLM dành riêng cho khách hàng trên AIR-520. Hơn nữa, DeviceOn của Advantech cung cấp các bản cập nhật phần mềm/container OTA và quản lý từ xa, tạo điều kiện cho việc điều phối AI biên hiệu quả và bảo trì lâu dài. Các mẫu ban đầu của Giải pháp máy chủ AI biên AIR-520 dành cho Generative AI hiện đã có sẵn. Để biết thêm thông tin, vui lòng liên hệ với Advantech Việt Nam để được hỗ trợ.
-25/AIR-510_04--20240806132906.jpg)
-25/EPC-B5000_Front-left--_Square20231115180815.jpg)
-25/AIR-030_04--20230601175550.jpg)
-25/AIR-020_Front-right1-_Banner2021082715073020210827164439.jpg)
-25/PR-AIR-520_w820h46020240830105212.jpg)
