Advantech và Qualcomm hợp tác ra mắt máy chủ SKY-641E3 trang bị giải pháp thiết bị AI tại chỗ Qualcomm Dragonwing™

Advantech, công ty hàng đầu thế giới về IoT công nghiệp, hân hạnh công bố mở rộng hợp tác với Qualcomm Technologies, Inc. để đẩy nhanh việc triển khai Trí tuệ nhân tạo tạo sinh (GenAI) tại biên. Sự hợp tác này tập trung vào việc Advantech tích hợp giải pháp thiết bị AI tại chỗ Qualcomm Dragonwing™, được hỗ trợ bởi bộ tăng tốc Qualcomm® Cloud AI 100 Ultra, vào máy chủ biên hiệu năng cao Advantech SKY-641E3 4U. Bằng cách sử dụng bảng mạch chuyển mạch PCIe chuyên dụng, giải pháp này cung cấp khả năng kết nối băng thông cao cần thiết để khai thác tối đa tiềm năng suy luận AI mật độ cao cho các ngành doanh nghiệp và công nghiệp.

Mật độ suy luận vượt trội cho khả năng xử lý đồng thời quy mô lớn

Không giống như các máy chủ GPU hai khe cắm tiêu chuẩn, SKY-641E3 được thiết kế đặc biệt để đạt được thông lượng suy luận tối đa. Bằng cách hỗ trợ tối đa 12 bộ tăng tốc FH/FL một khe cắm trong một khung máy 4U duy nhất, nó cung cấp tỷ lệ mật độ trên diện tích vượt trội. Cấu hình này được tối ưu hóa cho các khối lượng công việc biên có độ đồng thời cao, chẳng hạn như phân tích video thông minh trên toàn thành phố hoặc các tác nhân AI bán lẻ quy mô lớn, cho phép xử lý đồng thời hàng trăm luồng dữ liệu thời gian thực mà không gây ra gánh nặng nhiệt lượng của các GPU huấn luyện tiêu thụ nhiều điện năng.

Khả năng mở rộng mạnh mẽ của máy chủ bao gồm:

• Bộ xử lý kép hiệu năng cao: Kiến trúc hai socket hỗ trợ CPU hiệu năng cao với TDP lên đến 400W mỗi bộ xử lý để xử lý các tác vụ tính toán đòi hỏi khắt khe nhất.
• 10 khe PCIe 4.0 x16 và 2 khe PCIe 4.0 x8, cung cấp nền tảng vững chắc cho việc triển khai bộ tăng tốc mật độ cao.
• Cung cấp điện linh hoạt: Mỗi khe cắm có khả năng cung cấp 75W điện năng, với khả năng mở rộng lên đến 350W mỗi khe cắm cho tối đa 4 khe cắm, đảm bảo hỗ trợ cho các bộ tăng tốc AI đòi hỏi khắt khe nhất.
• Độ tin cậy cấp công nghiệp: Được trang bị bộ nguồn AC dự phòng 1+1 2700W, hệ thống đảm bảo hoạt động liên tục 24/7 và ổn định nguồn điện cho các triển khai AI quy mô lớn.

Hiệu năng phần cứng vượt trội: Qualcomm Cloud AI 100 Ultra

Qualcomm Cloud AI 100 Ultra được thiết kế chuyên dụng để cung cấp hiệu năng suy luận cấp trung tâm dữ liệu với những lợi ích của xử lý tại biên. Các thông số kỹ thuật phần cứng chính của Qualcomm Cloud AI 100 Ultra tích hợp trong SKY-641E3 bao gồm:

• Kiểu dáng: PCIe FH3/4L (Chiều cao đầy đủ, chiều dài 3/4)
• Công suất thiết kế nhiệt (TDP): 150W
• Dung lượng ML (INT8): 870 TOPS (Tera Operations Per Second)
• DRAM tích hợp: 128 GB LPR4x với băng thông tốc độ cao 548 GB/s
• Giao diện máy chủ: PCIe Gen 4, 16 làn cho thông lượng dữ liệu tối đa
• Số lõi: 64 lõi AI chuyên dụng trên một card duy nhất để cung cấp sức mạnh cho các mạng thần kinh phức tạp

Sự kết hợp hoàn hảo giữa Qualcomm Cloud AI 100 Ultra và SKY-641E3

Sự kết hợp giữa máy chủ biên của Advantech và chip xử lý của Qualcomm Technologies mang đến một bước đột phá trong lĩnh vực trí tuệ nhân tạo tại chỗ:

• Hỗ trợ mô hình quy mô lớn: Được tối ưu hóa để chạy các mô hình Trí tuệ nhân tạo tạo sinh với tối đa 109 tỷ tham số, chẳng hạn như Llama 4, trên một card Qualcomm AI 100 Ultra duy nhất.
• Triển khai quy mô lớn: Hệ thống có thể hỗ trợ tối đa 20 thiết bị/người dùng đồng thời trên mỗi card Cloud AI 100 Ultra.
• Bộ phần mềm AI tiên tiến: Bao gồm Qualcomm AI Inference Suite để triển khai RAG (Retrieval-Augmented Generation) và các ứng dụng tác nhân GenAI tùy chỉnh chỉ với một cú nhấp chuột.

Ông Jeff Wen, Giám đốc cấp cao của Nhóm Máy chủ Biên tại Advantech, cho biết: "Sự hợp tác của chúng tôi với Qualcomm Technologies đánh dấu một cột mốc quan trọng trong sự phát triển của AI biên. Bằng cách kết hợp sức mạnh của Qualcomm Cloud AI 100 Ultra với máy chủ SKY-641E3 và công nghệ chuyển mạch PCIe độc ​​quyền của chúng tôi, chúng tôi đang loại bỏ những rào cản truyền thống về mức tiêu thụ điện năng và tắc nghẽn băng thông. Điều này cung cấp cho khách hàng công nghiệp của chúng tôi một nền tảng mạnh mẽ, tiết kiệm năng lượng để triển khai các tác nhân AI phức tạp và phân tích thời gian thực trong bất kỳ môi trường nào."

Ông Evgeni Gousev, Phó Chủ tịch Công nghệ của Qualcomm Technologies, Inc., cho biết: "Việc đưa trí tuệ nhân tạo thế hệ mới (GenAI) hiệu năng cao đến vùng biên đòi hỏi sự kết hợp giữa phần cứng mạnh mẽ và kiến ​​trúc phần cứng đẳng cấp thế giới. Chúng tôi lựa chọn hợp tác với Advantech nhờ thiết kế cấp công nghiệp vượt trội, khả năng hệ thống máy chủ toàn diện và chuyên môn sâu rộng trong ngành công nghiệp điện toán biên. Qualcomm Cloud AI 100 Ultra được thiết kế chuyên dụng cho suy luận cấp doanh nghiệp, cung cấp khả năng tối ưu hóa năng lượng hàng đầu trong ngành. Thông qua nền tảng máy chủ của Advantech, chúng tôi đang giúp các doanh nghiệp nhận ra lợi ích của 'AI tại chỗ' - độ trễ thấp hơn và tiết kiệm chi phí đáng kể - để chuyển đổi hoạt động của họ trên các lĩnh vực công nghiệp toàn cầu."

Thúc đẩy đổi mới AI trên mọi lĩnh vực

SKY-641E3, được trang bị Qualcomm Cloud AI 100 Ultra, được thiết kế để đáp ứng nhiều trường hợp sử dụng khác nhau:

• Sản xuất thông minh: Bảo trì dự đoán dựa trên trí tuệ nhân tạo, kiểm soát chất lượng theo thời gian thực và giám sát an toàn lao động.
• Bán lẻ & Khách sạn: Kiosk hỗ trợ bởi trí tuệ nhân tạo, trợ lý nhân viên cửa hàng và các chương trình khuyến mãi cá nhân hóa cho khách hàng.
• Chăm sóc sức khỏe: Phân tích hình ảnh y tế và xử lý tài liệu cho quy trình làm việc lâm sàng. Thành phố thông minh & Logistics: Giám sát video thông minh, an ninh công cộng và điều hướng kho tự động.