Advantech cách mạng hoá triển khai LLM mã nguồn mở với bộ đầy đủ các nền tảng tăng tốc AI biên của NVIDIA®

Advantech, nhà cung cấp hàng đầu các nền tảng AI biên công nghiệp, đang cách mạng hóa việc triển khai mô hình ngôn ngữ lớn (LLM) nguồn mở với nền tảng tăng tốc điện toán AI biên của NVIDIA mới nhất của mình. Hỗ trợ DeepSeek, Llama và các LLM mã nguồn mở khác, Advantech tận dụng nền tảng điện toán tăng tốc toàn bộ ngăn xếp từ NVIDIA, tối ưu hóa NVIDIA TensorRT-LLM và Nền tảng NVIDIA Jetson để cung cấp khả năng suy luận AI có độ trễ thấp, có thể mở rộng tại biên.

Hệ thống Edge AI toàn diện cho việc triển khai LLM nguồn mở

Advantech cung cấp một loạt các nền tảng Edge AI được NVIDIA hỗ trợ, có khả năng mở rộng được thiết kế để đáp ứng các nhu cầu triển khai LLM đa dạng, từ suy luận nhẹ đến đào tạo mô hình AI toàn diện. Cho dù là chatbot trên thiết bị, AI theo miền cụ thể hay quản lý vòng đời LLM quy mô lớn, các giải pháp Edge-AI của Advantech đều mang lại hiệu suất, hiệu quả và khả năng mở rộng tối ưu trên các khối lượng công việc AI khác nhau.

Cung cấp suy luận LLM hiệu suất cao cho Llama & DeepSeek

Nền tảng điện toán AI biên được NVIDIA tăng tốc của Advantech cung cấp khả năng suy luận tốc độ cao, có thể mở rộng cho các LLM nguồn mở, bao gồm Llama và DeepSeek, cho phép xử lý khối lượng công việc AI hiệu quả từ các thiết bị biên nhỏ gọn đến các máy chủ AI mạnh mẽ.

Tổng quan về hiệu suất LLM trên toàn bộ hệ thống Advantech Edge AI

MIC-711-OX (NVIDIA Jetson Orin™ NX 16GB) – Suy luận AI Edge nhẹ (100 TOPS)

Lợi ích chính:

• Hệ thống máy tính suy luận AI nhỏ gọn, công suất thấp để xử lý biên thời gian thực

Ứng dụng mục tiêu:

• Thiết bị thông minh hỗ trợ AI (trợ lý IoT, AI nhúng trong robot)
• AI biên cho tương tác với khách hàng (ki-ốt bán lẻ, hệ thống gọi điện tự động)
• Giám sát AI công nghiệp (bảo trì dự đoán, kiểm soát chất lượng)
• Trợ lý AI nhẹ cho sử dụng di động và ngoại tuyến
  

MIC-770V3 + MIC-75M20 (Intel® Core™ i7-12700E + NVIDIA RTX™ 4000 SFF Ada Generation) – Tối ưu hoá cho suy luận LLM (300 TOPS)

Lợi ích chính:

• Sức mạnh tính toán được cải thiện để suy luận LLM nhanh hơn, hiệu quả hơn

Ứng dụng mục tiêu:

• Trợ lý AI cấp doanh nghiệp để tăng năng suất (tóm tắt email và tài liệu do AI điều khiển)
• Hỗ trợ khách hàng do AI điều khiển (chatbot, AI giọng nói)
• AI trên thiết bị cho các công cụ mã hóa và tăng năng suất
• AI phát hiện gian lận và an ninh mạng
  

SKY-602E3 (AMD EPYC™ 8534P+ 2x NVIDIA RTX™ 4500 Ada Generation) – Đào tạo AI theo lĩnh vực cụ thể (1000+ TOPS)

Lợi ích chính:

• Cho phép tinh chỉnh và điều chỉnh miền của các mô hình Llama
• Hỗ trợ LLM tùy chỉnh cho các ngành công nghiệp chuyên biệt
  

Ứng dụng mục tiêu:

• Trợ lý AI doanh nghiệp để tăng năng suất (tóm tắt email và tài liệu do AI điều khiển)
• Hỗ trợ khách hàng do AI điều khiển (chatbot, AI giọng nói)
• AI trên thiết bị cho các công cụ mã hóa và tăng năng suất
• AI phát hiện gian lận và an ninh mạng

Với khả năng tăng tốc suy luận NVIDIA toàn diện, phân bổ bộ nhớ được tối ưu hóa và điện toán tiết kiệm điện năng, nền tảng Edge AI của Advantech đảm bảo suy luận LLM nhanh chóng, có thể mở rộng trên nhiều ứng dụng công nghiệp khác nhau.

Tiên phong trong tương lai của Edge AI

Nền tảng điện toán Edge AI đầy đủ của Advantech, được xây dựng trên NVIDIA Jetson và điện toán tăng tốc NVIDIA bao gồm Jetson và các GPU trung tâm dữ liệu khác, trao quyền cho các ngành triển khai các ứng dụng AI gốc với xử lý thời gian thực, độ trễ thấp. Với công nghệ của NVIDIA, Advantech đang đẩy nhanh phát triển các hệ thống Edge AI và mở rộng ranh giới của việc triển khai LLM nguồn mở, giúp các ngành khai thác toàn bộ tiềm năng của quá trình chuyển đổi do AI thúc đẩy. Vui lòng truy cập trang web Advantech hoặc liên hệ với Advantech Việt Nam để tìm hiểu thêm về nền tảng điện toán Edge AI của Advantech.