Tận dụng GenAI và LLM để hỗ trợ ra quyết định nâng cao trong sản xuất
18/09/2024
Giới thiệu
Sản xuất điện tử liên quan đến quản lý vật liệu phức tạp và các quy trình sản xuất, đòi hỏi nhiều hệ thống thông tin và một lượng lớn nguồn nhân lực. Việc kết hợp LLM AI vào hệ thống hỗ trợ quyết định có thể dẫn đến hiệu quả được nâng cao, chất lượng sản phẩm được cải thiện, sự hài lòng của khách hàng tốt hơn và việc ra quyết định mang tính chiến lược hơn. Nó giúp ích theo nhiều cách như phân tích dữ liệu & thông tin chi tiết, tối ưu hóa quy trình, hỗ trợ khách hàng và đào tạo nhân viên, cuối cùng góp phần vào thành công chung và khả năng cạnh tranh của nhà sản xuất điện tử.
Những thách thức
Có một số trở ngại khi áp dụng công nghệ AI LLM cho các hệ thống hỗ trợ ra quyết định:
- Độ phức tạp về mặt kỹ thuật: Việc triển khai các hệ thống AI đòi hỏi chuyên môn kỹ thuật đáng kể, bao gồm kiến thức về LLM, cơ sở hạ tầng CNTT và các kỹ năng phần mềm có liên quan.
- Quyền riêng tư tại biên: Vì lý do ổn định và bảo mật, khách hàng thích sử dụng mạng riêng cục bộ. Điều này gây ra mối lo ngại khi áp dụng các ứng dụng AI dựa trên đám mây.
- Thách thức về môi trường: Các địa điểm sản xuất thường thiếu điều hòa không khí, không gian giá đỡ máy chủ và nguồn điện chuyên dụng, khiến chúng không phù hợp với máy chủ AI thương mại.
Giải pháp
Để vượt qua những thách thức này, khách hàng đã chọn giải pháp tinh chỉnh AIR-520 70B LLM, bao gồm các thành phần sau:
Hệ thống máy chủ AI Edge AIR-520 với card GPU NVIDIA RTX 6000 Ada: Được trang bị bộ xử lý AMD EPYC 7003 series và hai card GPU NVIDIA RTX 6000 Ada, hệ thống cấp máy chủ này cung cấp sức mạnh tính toán hiệu suất cao. Nó được chứng nhận IEC-61000 và có thiết kế làm mát công nghiệp, đáp ứng các yêu cầu của môi trường đầy thách thức.
SSD AI aiDAPTIV+ ai100: AIR-520 được trang bị SSD ai100, có dung lượng lưu trữ 4TB và phần mềm trung gian được cấp bằng sáng chế, cho phép đào tạo hiệu quả các mô hình lớn hơn chỉ với 2 GPU và DRAM tiêu chuẩn. Điều này đảm bảo rằng nền tảng có thể xử lý các tập dữ liệu lớn một cách an toàn và hiệu quả trong mạng riêng cục bộ.
NVIDIA AI Enterprise: Bộ phát triển AI toàn diện để suy luận giúp khách hàng phát triển nhanh chóng các ứng dụng suy luận với sự hỗ trợ kỹ thuật trực tiếp từ các chuyên gia AI của NVIDIA.
Lợi ích
- Trạng thái và phân tích thời gian thực: LLM AI có thể xử lý và phân tích các tập dữ liệu lớn một cách nhanh chóng, cung cấp thông tin chi tiết theo thời gian thực giúp đưa ra quyết định kịp thời và dự đoán xu hướng trong tương lai.
- Giữ dữ liệu nhạy cảm ở biên: Cả đào tạo mô hình và suy luận đều chạy trên hệ thống AIR-520, với tất cả các nguồn dữ liệu trên cùng một mạng nội bộ, đảm bảo không có mối lo ngại nào về bảo mật.
- Thời gian chạy đáng tin cậy 24/7: Hệ thống AIR-520 là một máy trạm dạng tháp, phù hợp với không gian hạn chế tại hiện trường. Thiết kế làm mát công nghiệp của hệ thống đảm bảo hoạt động ổn định ngay cả khi không có hệ thống điều hòa không khí tối ưu.
-25/Product-photo20240515141947.jpg)
-25/PR-AIR-520_w820h46020240830105212.jpg)
-25/EPC-B5000_Front-left--_Square20231115180815.jpg)
-25/AIR-520_04--20240503141558.jpg)
-25/AIR-510_04--20240806132906.jpg)
