Điện toán biên hỗ trợ bởi AI thúc đẩy các chương trình LLM chuyên biệt được thiết kế riêng

Khi công nghệ và thế giới xung quanh chúng ta tiếp tục phát triển, ngành sản xuất đã có những bước tiến vững chắc - từ những ngày đầu của cơ giới hóa trong Công nghiệp 1.0 cho đến Công nghiệp 4.0 dựa trên trí tuệ nhân tạo ngày nay. Trong những năm gần đây, sự trưởng thành ngày càng tăng và việc sử dụng rộng rãi Trí tuệ nhân tạo (AI) và Mô hình ngôn ngữ lớn (LLM) không chỉ nâng cao khả năng thông minh của Công nghiệp 4.0 mà còn xây dựng những con đường mới để ứng dụng AI trong nhiều ngành công nghiệp.

Tuy nhiên, để AI thực sự mang lại giá trị trên nhiều ứng dụng công nghiệp, AI biên (Edge AI) là điều cần thiết. Hầu hết các triển khai AI công nghiệp đều diễn ra trong môi trường biên, nơi các khuôn khổ AI Agentic được sử dụng để hỗ trợ các tác vụ cộng tác. Do đó, việc áp dụng AI ngày càng tăng đã làm tăng nhu cầu về các giải pháp AI biên, tạo ra cơ hội kinh doanh mới cho các nhà cung cấp PC công nghiệp (IPC) đang đầu tư vào lĩnh vực này.

Sự hình thành của AI tại biên phụ thuộc vào đào tạo LLM chuyên ngành

Advantech nhận thấy xu hướng ứng dụng AI trong công nghiệp gần đây phản ánh sự chuyển dịch trọng tâm - từ đào tạo mô hình trên nền tảng đám mây sang triển khai thực tế tại chỗ. Do đó, AI biên và điện toán biên đã trở nên thiết yếu. Bởi vì mỗi môi trường đều yêu cầu các dịch vụ ứng dụng cụ thể. Các LLM phải được tinh chỉnh để phù hợp với nhu cầu của từng ngành cụ thể. Việc tinh chỉnh này cho phép các LLM hiểu rõ hơn dữ liệu và thuật ngữ chuyên ngành, cho phép họ thực hiện suy luận chính xác tại biên.

Đặc biệt với sự xuất hiện của các nền tảng mã nguồn mở như Deepseek, các LLM được đào tạo trước dựa trên các mô hình mã nguồn mở đã phát triển mạnh mẽ trên thị trường. Cạnh tranh và sự phát triển liên tục của các mô hình đã giảm bớt rào cản phần cứng, cho phép triển khai AI và suy luận dễ dàng hơn tại biên. Hiện tại, Advantech nhận thấy nhiều ứng dụng của khách hàng tập trung vào nhận dạng hình ảnh chẳng hạn như kiểm tra lỗi trong dây chuyền sản xuất bo mạch chủ hoặc PCBA - cũng như sử dụng LLM để nâng cao dịch vụ khách hàng và hợp lý hóa quy trình làm việc hành chính nội bộ.

Đối với các ứng dụng hướng đến khách hàng, Advantech chia sẻ ví dụ về một khách hàng là công ty luật đang hướng đến việc xây dựng một cổng thông tin dịch vụ khách hàng 24/7 được hỗ trợ bởi AI. Mục tiêu là để AI tự động lọc và phản hồi các yêu cầu thông thường, đồng thời chuyển các vấn đề phức tạp đến các nhân viên. Do thuật ngữ chuyên ngành và kiến ​​thức chuyên ngành của ngành luật, các mô hình LLM công khai chung chung chưa đáp ứng được yêu cầu. Do đó, việc tinh chỉnh là cần thiết để trang bị cho LLM kiến ​​thức chuyên môn phù hợp với ngành và mang lại lợi ích thiết thực.

Đào tạo lại LLM: Cân bằng giữa yêu cầu tính toán, chi phí và rủi ro bảo mật

Đối với các tổ chức áp dụng các giải pháp như vậy, việc tối ưu hóa quy trình tinh chỉnh và triển khai suy luận phải ưu tiên hiệu quả chi phí. Những khối lượng công việc này đòi hỏi nguồn lực tính toán đáng kể. Mặc dù việc tinh chỉnh và suy luận có thể được thuê ngoài cho các nhà cung cấp dịch vụ đám mây chuyên nghiệp (CSP), nhưng chi phí liên quan và rủi ro bảo mật dữ liệu tiềm ẩn - đặc biệt là khi xử lý thông tin nhạy cảm của doanh nghiệp - có thể rất cao. Điều dễ hiểu là các công ty thường ngần ngại tải dữ liệu độc quyền hoặc dữ liệu bí mật lên đám mây và từ bỏ quyền kiểm soát dữ liệu đó.

Khi việc triển khai đám mây không khả thi, cơ sở hạ tầng điện toán tại chỗ cung cấp một giải pháp thay thế, đảm bảo cả khả năng tự chủ về mặt tính toán lẫn quyền sở hữu dữ liệu. Khi suy luận LLM tiếp tục chuyển dịch về phía biên, các công ty bán dẫn đã giới thiệu các mô-đun tăng tốc suy luận AI chuyên dụng. Tuy nhiên, việc đào tạo sau (tinh chỉnh) vẫn phụ thuộc rất nhiều vào GPU hiệu suất cao.

Do nhu cầu đầu tư vốn lớn và nhu cầu ngày càng tăng về năng lực tính toán và năng lượng, việc xây dựng cơ sở hạ tầng tại chỗ có thể không phải là giải pháp bền vững lâu dài cho nhiều doanh nghiệp. Advantech khuyến nghị các công ty nên xác định rõ ràng vấn đề và mục tiêu của mình trước khi áp dụng AI. Đối với các ứng dụng không phải thời gian thực, chẳng hạn như cổng thông tin dịch vụ khách hàng hoặc các tác vụ hành chính nội bộ, phản hồi chậm thông qua giao tiếp không đồng bộ (ví dụ: email) thường là đủ. Trong những trường hợp như vậy, giải pháp aiSSD của Advantech có thể hỗ trợ triển khai AI hiệu quả.

aiSSD của Advantech tích hợp công nghệ aiDAPTIV+ của Phison, công nghệ này chuyển dữ liệu thường được lưu trữ trong GPU VRAM sang bộ lưu trữ aiSSD, giúp giảm số lượng GPU cần thiết cho việc tinh chỉnh. Tận dụng sự đổi mới này, các hệ thống và máy trạm AI biên thế hệ tiếp theo của Advantech, chẳng hạn như AIR-520 được trang bị bộ xử lý cấp máy chủ AMD EPYC™ và AIR-420 được trang bị bộ xử lý AMD Ryzen™, có thể chạy hiệu quả mô hình Llama 70B chỉ với 2–4 GPU. Mặc dù thời gian tính toán tăng lên, Advantech so sánh điều này với việc lựa chọn giữa tàu cao tốc và tàu thông thường từ Đài Bắc đến Cao Hùng, cả hai đều đến đích, nhưng với chi phí và thời gian di chuyển khác nhau. Ngoài ra, Advantech cung cấp một loạt sản phẩm để đáp ứng các nhu cầu tăng tốc suy luận đa dạng và hỗ trợ các yêu cầu GPU cao hơn để tinh chỉnh mô hình AI biên, cung cấp cho khách hàng một dòng sản phẩm phần cứng toàn diện phù hợp với nhiều tình huống triển khai biên thực tế khác nhau.

Mặc dù thời gian tính toán kéo dài góp phần làm tăng tổng chi phí, phương pháp này rất phù hợp cho các ứng dụng không bị ràng buộc chặt chẽ về thời gian thực. Một lợi thế quan trọng là dữ liệu được xử lý tại chỗ, tăng cường bảo mật và đảm bảo tính bảo mật dữ liệu - một lợi ích ngày càng quan trọng. Mặc dù việc tính toán có thể mất nhiều thời gian hơn, Advantech nhấn mạnh rằng điểm mạnh của giải pháp này nằm ở sự cân bằng giữa hiệu quả chi phí và bảo mật dữ liệu.

Khi AI biên mở rộng trong ngành, các giải pháp phần mềm - phần cứng tích hợp trở nên thiết yếu

Advantech chỉ ra rằng mặc dù công nghệ aiDAPTIV+ và các sản phẩm liên quan có sẵn thông qua các kênh khác, nhưng riêng aiDAPTIV+ không thể mang lại đầy đủ các lợi ích đã mô tả. Hoạt động AI đòi hỏi một hệ sinh thái hoàn chỉnh, và aiDAPTIV+ chỉ là một phần trong đó. Nếu không có sự hợp tác từ các đối tác ngoại vi, bao gồm cả các nhà cung cấp dịch vụ phần mềm độc lập (ISV), hệ thống không thể hoạt động hiệu quả. Giá trị của Advantech nằm ở việc cung cấp một giải pháp tích hợp hoàn chỉnh, cho phép triển khai AI nhanh chóng.

Khi công nghệ và ứng dụng AI tiếp tục phát triển, Advantech dự đoán việc áp dụng ngày càng nhiều các mô hình như DeepSeek để thúc đẩy hiệu quả công nghiệp cao hơn. Sự phát triển này cũng sẽ tạo ra một loạt các nhu cầu liên quan đến cả quy mô và tốc độ. Để giải quyết những thách thức này, Advantech đang đầu tư vào nhiều nền tảng tăng tốc phần cứng và mở rộng các ứng dụng AI bằng cách tích hợp các nguồn dữ liệu bổ sung, chẳng hạn như hình ảnh. Điều này cho phép mở rộng các trường hợp sử dụng AI sang robot di động tự động (AMR) và robot. Ngoài ra, Advantech hợp tác với các nhà cung cấp phần mềm độc lập (ISV) để xây dựng một hệ sinh thái AI và điện toán biên mạnh mẽ, giúp khách hàng khai thác lợi ích của AI một cách dễ dàng, an toàn, hiệu quả và tiết kiệm chi phí hơn.