Hệ thống Edge AI của Advantech sử dụng GPU NVIDIA RTX PRO Blackwell tăng cường ứng dụng LLM tại chỗ cho doanh nghiệp

Công nghệ AI tạo sinh (Generative AI) đang phát triển nhanh chóng theo hướng ứng dụng tại biên (edge), kéo theo nhu cầu mạnh mẽ về điện toán AI của các doanh nghiệp. Khi các mô hình ngôn ngữ lớn (LLM) tiếp tục phát triển, nhiều doanh nghiệp chọn cách huấn luyện LLMs trong nội bộ - Không chỉ tăng cường bảo mật thông tin mà còn linh hoạt điều chỉnh mô hình theo nhu cầu cụ thể nhằm đạt hiệu quả tối ưu. Tuy nhiên, làm sao để nâng cao hiệu suất tính toán trong khi vẫn giảm tiêu thụ năng lượng và tổng chi phí sở hữu (TCO) đang trở thành bài toán trọng tâm của các doanh nghiệp.

IPC – 730 của Advantech, tích hợp với GPU NVIDIA RTX PRO 6000 Blackwell phiên bản Workstation, mang đến cho doanh nghiệp nền tảng hiệu suất cao để huấn luyện và suy luận LLM. GPU NVIDIA RTX PRO Blackwell thế hệ mới có dung lượng bộ nhớ gấp đôi so với thế hệ trước, cùng hiệu suất tính toán CUDA vượt trội, giúp các tác vụ AI trên giải pháp AI biên (Edge AI) của Advantech vận hành hiệu quả hơn với mức tiêu thụ năng lượng thấp hơn trên mỗi token xử lý.

IPC – 730 Nâng cao hiệu suất tính toán AI với GPU NVIDIA RTX PRO 6000 Blackwell tích hợp công suất lên tới 600W

Kiển trúc Blackwell của NVIDIA vượt qua những nút thắt cổ chai trong tính toán truyền thống, mang lại hiệu suất vượt trội đồng thời giảm tiêu thụ năng lượng. Các hệ thống điện toán biên của Advantech bao gồm máy tính công nghiệp hiệu suất cao IPC-730 và các máy chủ được tích hợp đầy đủ dòng GPU Blackwell mới nhất của NVIDIA, bao gồm NVIDIA RTX PRO 6000 Blackwell Server Edition, NVIDIA RTX PRO 6000 Blackwell Workstation Edition và NVIDIA RTX PRO 6000 Blackwell Max-Q Workstation Edition. Những giải pháp này cho phép doanh nghiệp triển khai linh hoạt các ứng dụng AI, tạo ra hệ thống tính toán AI hiệu

Dòng GPU NVIDIA RTX PRO Blackwell sở hữu bộ xử lý Transformer Engine thế hệ thứ 2, giúp cải thiện đáng kể hiệu suất huấn luyện và suy luận AI. Thiết kế 2 khe cắm với dung lượng bộ nhớ lên tới 96GB cho mỗi GPU bảo đảm tính ổn định và hiệu suất cho các tác vụ tính toán AI. So với thế hệ GPU trước, dung lượng bộ nhớ đã tăng gấp đôi, cho phép xử lý những mô hình ngôn ngữ phức tạp, đồng thời giảm tiêu thụ điện trên mỗi token tới 50% cùng với hiệu suất tính toán, qua đó giúp giảm đáng kể tổng chi phí sở hữu (TCO). Thiết kế bền bỉ đạt chuẩn công nghiệp phù hợp với những tác vụ tính toán trong thời gian dài, đảm bảo vận hành hệ thống ổn định. Advantech cũng cung cấp các giải pháp IPC hoặc máy chủ phù hợp với từng nhu cầu ứng dụng cụ thể, đáp ứng đa dạng yêu cầu tính toán AI của doanh nghiệp.

Giải pháp AI biên (Edge AI) của Advantech phục vụ nhiều kịch bản ứng dụng AI khác nhau. Trong mảng phân tích thông tin AI cho doanh nghiệp, giải pháp hỗ trợ phân tích dữ liệu theo thời gian thực và đưa ra quyết định kịp thời, giúp nâng cao hiệu quả vận hành. Trong lĩnh vực y tế thông minh, ứng dụng bao gồm phân tích hồ sơ bệnh án, chẩn đoán hình ảnh và hỗ trợ ra quyết định lâm sàng, góp phần nâng cao độ chính xác của AI y tế. Các hệ thống chăm sóc khách hàng tự động cũng được tối ưu hóa nhờ công nghệ LLM, cải thiện tốc độ phản hồi và giảm chi phí vận hành

Dữ liệu kiểm thử giải pháp Edge AI của Advantech chứng minh hiệu suất vượt trội.

Các giải pháp AI biên (Edge AI) của Advantech đã chứng minh hiệu suất vượt trội qua nhiều bài kiểm tra. Trong kịch bản tính toán LLM, hiệu quả xử lý token là yếu tố then chốt ảnh hưởng đến hiệu suất của mô hình AI, bao gồm các chỉ số như tốc độ đánh giá (Eval Rate), tốc độ đánh giá Promt (Promt Eval Rate) và mức sử dụng bộ nhớ VRAM. Những chỉ số này quyết định khả năng phản hồi theo thời gian thực và hiệu quả vận hành của mô hình.

Nhờ sức mạnh tính toán vượt trội của GPU NVIDIA RTX PRO Blackwell, các doanh nghiệp có thể tăng tốc xử lý token, tối ưu hóa hiệu suất suy luận và huấn luyện các mô hình ngôn ngữ (LLM), đảm bảo hiệu suất AI tối ưu trong các ứng dụng hiểu ngôn ngữ và tạo nội dung, đồng thời nâng cao hơn nữa năng lực cạnh tranh của các giải pháp AI biên (Edge AI)

Cấu hình hệ thống: IPC-730 + AIMB-789 + RTX PRO 6000 Blackwell WorkStation Edition/ RTX 6000 Ada

Trong bài kiểm tra hiệu năng đồ họa 3Dmark Time Spy, GPU RTX PRO 6000 Blackwell Workstation Edition cho kết quả vượt trội hơn 53% so với thế hệ trước RTX 6000 Ada. Sự bứt phá đáng kể về sức mạnh xử lý đồ họa này cho phép các chuyên gia xử lý hiệu quả hơn các tác vụ trực quan hóa phức tạp, dò tia thời gian thực (Real-time ray tracing) và sáng tạo nội dung chất lượng cao với tốc độ và hiệu quả vượt trội.

GPU RTX PRO 6000 Blackwell Workstation Edition, được xây dựng trên kiến trúc Blackwell mới nhất của NVIDIA, mang lại bước nhảy vọt về hiệu năng trong các ứng dụng AI tạo sinh (Generative AI). Trong cả hai tác vụ tạo ảnh và tạo văn bản, phiên bản Blackwell vượt trội so với mẫu sử dụng kiến trúc Ada trước đó, với tốc độ tạo ảnh nhanh hơn 77% và tốc độ tạo token trong các mô hình ngôn ngữ lớn (LLM) cao hơn 37%. Độ trễ được giảm đáng kể trên nhiều tác vụ AI chính. Ví dụ, thời gian tạo ảnh với Stable Diffusion FP16 giảm hơn 54%, trong khi tốc độ xử lý UNET tăng 47%, giúp trải nghiệm AI trên môi trường edge và cloud mượt mà và phản hồi nhanh hơn.

Advantech Accelerates Enterprise Adoption of Next-Generation LLM Computing

Advantech thúc đẩy doanh nghiệp ứng dụng LLM thế hệ mới

Là đối tác cấp cao (Elite Partner) của NVIDIA, Advantech tiếp tục dẫn đầu trong việc phát triển công nghệ AI biên (Edge AI) bằng cách cung cấp các dòng máy tính và máy chủ công nghiệp hiệu suất cao tích hợp GPU, hỗ trợ doanh nghiệp triển khai các ứng dụng LLM và mang lại các giải pháp tính toán AI tại biên linh hoạt hơn, tiết kiệm năm lượng và tối ưu chi phí hơn.

Tất cả sản phẩm hiện đã sẵn sàng để đặt hàng. Liên hệ Advantech ngay hôm nay để tăng tốc hành trình Edge AI trong doanh nghiệp của bạn.