Advantech cung cấp GenAI Studio trong Edge AI SDK, hỗ trợ phát triển LLM tại chỗ cho các sáng kiến ​​Edge AI

Advantech, nhà cung cấp hàng đầu thế giới về các nền tảng và dịch vụ AIoT, công bố một phần mềm mới - GenAI Studio cho Advantech Edge AI SDK, giải quyết nhu cầu ngày càng tăng đối với các giải pháp mô hình ngôn ngữ lớn (LLM) tại chỗ, tiết kiệm chi phí. Sáng kiến ​​này nhằm mục đích giúp các nhà phát triển và doanh nghiệp vừa và nhỏ (SMB) dễ tiếp cận hơn khi áp dụng LLM bằng cách giảm đáng kể sự phụ thuộc vào GPU, do đó giảm chi phí và cho phép sử dụng rộng rãi hơn các công nghệ AI tạo sinh.

Là một trong những phần mềm mà Advantech Edge AI SDK cung cấp, GenAI Studio giải quyết các điểm khó khăn của ngành, chẳng hạn như giảm thời gian chờ đợi của người vận hành nhà máy đối với thông tin quan trọng và giảm bớt khối lượng công việc lập tài liệu của các chuyên gia chăm sóc sức khỏe. Nền tảng no-code, tiết kiệm chi phí của nó hợp lý hóa việc áp dụng LLM, cho phép các doanh nghiệp triển khai các giải pháp AI một cách nhanh chóng và hiệu quả, cải thiện năng suất và hiệu quả hoạt động. Được xây dựng cho Advantech Edge AI SDK, GenAI Studio tận dụng nền tảng LLM đa năng với khả năng tích hợp đặc biệt cho cả LLM cục bộ và trên nền tảng đám mây, bao gồm OpenAI, Gemini, Anthropic và Ollama. Nó cũng giới thiệu chức năng tinh chỉnh đầy đủ tham số, được tối ưu hóa cho các môi trường có tài nguyên GPU hạn chế, cho phép cải thiện khả năng truy cập và hiệu suất rộng hơn.

GenAI Studio cung cấp một bộ công cụ toàn diện để phát triển LLM:

• Dịch vụ tinh chỉnh và suy luận tích hợp: GenAI Studio kết hợp khả năng tinh chỉnh và suy luận để tối đa hóa việc sử dụng phần cứng, cho phép phân bổ tài nguyên linh hoạt và hiệu quả hơn.
• Quản lý tài nguyên GPU nâng cao và lập lịch tác vụ: Các tính năng này cho phép người dùng tối ưu hóa hiệu suất phần cứng AI, cải thiện hiệu quả chi phí của thiết bị có giá trị cao.

Sự gia tăng nhanh chóng của AI đã nhấn mạnh nhu cầu về các giải pháp LLM dễ tiếp cận, nhưng nhiều công ty bị cản trở bởi nguồn lực hạn chế. Advantech Edge AI SDK có thể giúp giải quyết thách thức này bằng cách cung cấp một bộ công cụ cho phép đánh giá, phát triển và triển khai hiệu quả các ứng dụng AI biên. Ví dụ, tinh chỉnh LLM 70 tỷ tham số, theo truyền thống yêu cầu hơn 30 GPU với bộ nhớ 48 GB mỗi GPU, có thể đạt được chỉ với 4 GPU bằng cách sử dụng Advantech Edge AI SDK. Điều này thể hiện mức giảm 87% yêu cầu về nguồn lực, giảm đáng kể chi phí và giúp các giải pháp LLM dễ đạt được hơn.

Để bổ sung cho GenAI Studio, máy chủ AI biên AIR-520 của Advantech cung cấp nền tảng phần cứng mạnh mẽ được trang bị GPU NVIDIA RTX và SSD Phison AI. Sự tích hợp này mang lại khả năng tính toán đáng tin cậy, hiệu suất cao được thiết kế để đáp ứng nhu cầu của các ứng dụng AI trong nhiều ngành công nghiệp như sản xuất, chăm sóc sức khỏe và bán lẻ.

Advantech Edge AI SDK là một nền tảng tích hợp đầy đủ được thiết kế để phát triển ứng dụng AI biên liền mạch. Với phần cứng được cấu hình sẵn và phần mềm được điều chỉnh tối ưu, nó mang lại trải nghiệm cắm và chạy cho phép tùy chỉnh LLM tiết kiệm chi phí, khả năng tương thích bộ công cụ liền mạch và quản lý dễ dàng các triển khai biên quy mô lớn. Được thiết kế với sự tin cậy, khả năng mở rộng và thân thiện với người dùng, Advantech Edge AI SDK đơn giản hóa con đường đổi mới AI. Hiện tại nó bao gồm ba thành phần cốt lõi:

• GenAI Studio: Tạo điều kiện thuận lợi cho việc tạo, đánh giá và tích hợp LLM tùy chỉnh tại chỗ với chi phí hiệu quả.
• Bộ công cụ suy luận: Cho phép tối ưu hóa và đánh giá nhanh chóng các thời gian chạy AI hiệu quả tương thích với các hệ điều hành nhúng.
• Nền tảng dàn dựng: Cung cấp khả năng quản lý hiệu quả các bản cập nhật ứng dụng và mô hình AI trên các triển khai biên quy mô lớn, tích hợp MLOps để hợp lý hóa các hoạt động.

Advantech đang nâng cao khả năng phát triển và triển khai các giải pháp AI của doanh nghiệp hiệu quả hơn và tiết kiệm chi phí hơn thông qua Edge AI SDK và mô-đun phần mềm GenAI Studio mới được bổ sung.