Hạ tầng AI tại biên (Edge AI): Cách xây dựng hệ thống AI có khả năng mở rộng tại biên

Các điểm chính về cơ sở hạ tầng AI tại biên (Edge AI)

Cơ sở hạ tầng AI tại biên (Edge AI) là nền tảng vận hành cho việc triển khai trí tuệ nhân tạo ở gần nơi dữ liệu được tạo ra: tại các nhà máy, trên các phương tiện di chuyển, tại các địa điểm bán lẻ, các cơ sở năng lượng, bệnh viện và trong môi trường đô thị thông minh.

Một cơ sở hạ tầng AI tại biên hoàn chỉnh bao gồm:

• Phần cứng biên công nghiệp phục vụ nhu cầu tính toán tại chỗ đáng tin cậy
• Các bộ tăng tốc AI, bao gồm GPU, NPU, TPU và bộ xử lý thị giác (vision-processing unit)
• Các môi trường chạy phần mềm AI (runtime) phục vụ suy luận mô hình, đóng gói dạng container và phân tích dữ liệu
• Khả năng kết nối thông qua Ethernet, 5G, Wi-Fi, mạng bus trường (fieldbus) và các giao thức công nghiệp
• Các biện pháp kiểm soát bảo mật cho thiết bị, định danh, dữ liệu và cập nhật phần mềm
• Khả năng điều phối và quản lý từ xa để mở rộng quy mô triển khai trên nhiều địa điểm
• Tích hợp từ biên đến đám mây (edge-to-cloud) phục vụ phân tích tập trung, huấn luyện mô hình và quản trị hệ thống

Khác với các kiến ​​trúc AI chỉ dựa trên nền tảng đám mây, cơ sở hạ tầng AI tại biên (edge ​​AI) cho phép thực hiện suy luận với độ trễ thấp và đưa ra quyết định ngay tại chỗ, ngay cả khi băng thông bị hạn chế hoặc không có kết nối với đám mây.

Cơ sở hạ tầng Edge AI là gì?

Cơ sở hạ tầng Edge AI là môi trường kết hợp bao gồm phần cứng, phần mềm, mạng, dữ liệu, bảo mật và công tác quản lý, cần thiết để vận hành các mô hình AI gần nơi dữ liệu được tạo ra.

Ví dụ, một hệ thống thị giác máy tính tại nhà máy sản xuất có thể xử lý dữ liệu hình ảnh từ camera ngay tại chỗ, phát hiện các lỗi sản phẩm trong tích tắc (vài mili giây) và kích hoạt bộ điều khiển logic lập trình được (PLC) mà không cần phải truyền liên tục các luồng video đến một trung tâm dữ liệu đám mây từ xa.

Cơ sở hạ tầng này thường hỗ trợ vòng đời suy luận AI, bao gồm: thu thập dữ liệu, tiền xử lý, thực thi mô hình, đưa ra quyết định, giám sát, cập nhật từ xa, cũng như tích hợp với các hệ thống doanh nghiệp như Hệ thống điều hành sản xuất (MES), Hoạch định nguồn lực doanh nghiệp (ERP) và các nền tảng Giám sát, điều khiển và thu thập dữ liệu (SCADA).

Mục tiêu không phải là thay thế điện toán đám mây. Thay vào đó, cơ sở hạ tầng AI tại biên (edge ​​AI) phân bổ khối lượng công việc một cách thông minh: các tác vụ suy luận đòi hỏi phản hồi tức thời sẽ được thực hiện ngay tại chỗ, trong khi các nền tảng đám mây tập trung sẽ đảm nhận việc huấn luyện mô hình, phân tích trên quy mô toàn hệ thống, lưu trữ dài hạn và quản trị.

Các thành phần cốt lõi của cơ sở hạ tầng Edge AI

Các thiết bị AI tại biên và máy tính công nghiệp

Các thiết bị AI tại biên (Edge AI) cung cấp môi trường tính toán cục bộ cho các ứng dụng AI. Máy tính công nghiệp được thiết kế để hoạt động trong những điều kiện mà các máy chủ CNTT tiêu chuẩn có thể không chịu đựng được, bao gồm độ rung, bụi bẩn, sự thay đổi nhiệt độ, không gian hạn chế và khả năng vận hành liên tục 24/7. Các hệ thống điển hình bao gồm máy tính nhúng không quạt, máy chủ biên bền bỉ, máy tính dạng bảng (panel PC), cổng kết nối AI (AI gateway) và các nền tảng công nghiệp tích hợp GPU.

GPU, NPU và các bộ tăng tốc AI

Các bộ tăng tốc AI giúp cải thiện hiệu suất suy luận và hiệu quả sử dụng năng lượng. GPU phù hợp với các tác vụ thị giác máy tính và AI tạo sinh đòi hỏi lưu lượng xử lý cao, trong khi NPU cùng các mô-đun AI chuyên dụng lại hỗ trợ thực hiện suy luận trên các hệ thống nhúng với mức tiêu thụ điện năng thấp hơn. Việc lựa chọn phần cứng cần phù hợp với kích thước mô hình, độ trễ suy luận, số lượng camera, môi trường vận hành và các yêu cầu về vòng đời.

Camera, cảm biến và các nguồn dữ liệu

Cơ sở hạ tầng Edge AI thu thập dữ liệu từ các camera thị giác máy tính, thiết bị LiDAR, micrô, cảm biến nhiệt, cảm biến rung, bộ điều khiển logic lập trình được (PLC), robot và các thiết bị Internet vạn vật (IoT). Dữ liệu công nghiệp thường được truyền đến thông qua các giao thức như OPC UA, Modbus TCP, EtherCAT, CAN bus, MQTT và các API REST.

Phần mềm môi trường thực thi, lưu trữ và quản lý

Lớp phần mềm bao gồm các hệ điều hành, nền tảng container (như Docker hoặc Kubernetes), môi trường thực thi AI (AI runtime), các đường ống dữ liệu (data pipeline), hệ thống giám sát thiết bị và các công cụ quản lý mô hình. Bộ lưu trữ cục bộ đóng vai trò lưu giữ dữ liệu sự kiện, nhật ký, các đoạn video và các thành phần của mô hình (model artifacts) trong những trường hợp kết nối với đám mây bị hạn chế.

Kiến trúc hạ tầng AI tại biên: Từ thiết bị đến đám mây

Thu thập dữ liệu tại biên

Kiến trúc này bắt đầu với các camera, cảm biến, máy móc và hệ thống vận hành. Dữ liệu được thu thập tại chỗ và lọc trước khi truyền đi. Việc này giúp giảm lưu lượng không cần thiết, đồng thời bảo vệ các thông tin nhạy cảm.

Điện toán biên và suy luận AI

Một thiết bị máy tính AI tại biên (edge ​​AI computer) thực hiện tiền xử lý dữ liệu đầu vào và chạy các mô hình đã được huấn luyện thông qua một công cụ suy luận (inference engine) dựa trên GPU, NPU hoặc CPU. Chẳng hạn, một mô hình phát hiện đối tượng có thể nhận diện các linh kiện còn thiếu, hành vi không an toàn của người lao động hoặc sự di chuyển của hàng tồn kho theo thời gian thực.

Xử lý dữ liệu và kết nối công nghiệp

Các kết quả suy luận được chuyển đổi thành những tín hiệu có thể đưa vào hành động thực tế. Hệ thống tại biên (edge ​​system) có thể kích hoạt cảnh báo, gửi lệnh đến bộ điều khiển logic khả trình (PLC), cập nhật bảng điều khiển SCADA hoặc tạo phiếu yêu cầu bảo trì trên nền tảng quản trị doanh nghiệp.

Phân tích trên nền tảng đám mây và vận hành mô hình

Lớp đám mây tập hợp các sự kiện, dữ liệu đo từ xa (telemetry) và các tập dữ liệu đã được ẩn danh. Lớp này hỗ trợ các hoạt động MLOps như đào tạo lại mô hình, kiểm soát phiên bản, đánh giá hiệu suất, thực thi chính sách tập trung và triển khai các mô hình đã cập nhật đến các vị trí biên (edge ​​locations) phân tán. Kiến trúc từ biên đến đám mây này cho phép duy trì quyền tự chủ tại địa phương mà vẫn đảm bảo khả năng quan sát tập trung.

Cơ sở hạ tầng AI biên so với Cơ sở hạ tầng điện toán biên và Cơ sở hạ tầng AI

Hạ tầng AI tại biên

Cơ sở hạ tầng AI tại biên (Edge AI) kết hợp các tài nguyên điện toán biên với những năng lực chuyên biệt cho AI, bao gồm các bộ tăng tốc, môi trường thực thi suy luận, quản lý vòng đời mô hình và giám sát AI. Mục đích chính của cơ sở hạ tầng này là vận hành các khối lượng công việc AI trong các môi trường thực tế.

Hạ tầng điện toán biên

Hạ tầng điện toán biên cung cấp các khả năng tính toán, lưu trữ, kết nối mạng và kết nối thiết bị tại chỗ. Hạ tầng này có thể vận hành nhiều khối lượng công việc khác nhau, bao gồm tự động hóa công nghiệp, thu thập dữ liệu, phân phối nội dung và các ứng dụng IoT. Nó không nhất thiết phải bao gồm các mô hình AI hay bộ tăng tốc AI.

Hạ tầng AI

Cơ sở hạ tầng AI là một thuật ngữ bao quát hơn, bao gồm các nguồn lực phục vụ việc huấn luyện và vận hành các mô hình học máy. Thuật ngữ này có thể bao gồm các cụm GPU trên nền tảng đám mây, hồ dữ liệu (data lake), các nền tảng MLOps và hệ thống lưu trữ hiệu năng cao. Cơ sở hạ tầng AI không nhất thiết phải được phân tán hoặc triển khai tại biên (edge).

Điều phối AI tại biên

Việc điều phối Edge AI giúp quản lý các ứng dụng, container, phiên bản mô hình, chính sách và cấu hình thiết bị trên toàn bộ hệ thống. Điều này đặc biệt quan trọng khi một tổ chức phải quản lý hàng trăm hoặc hàng nghìn hệ thống phân tán tại các nhà máy, cửa hàng, trạm biến áp hoặc trên các phương tiện di chuyển.

Lợi ích của việc xây dựng cơ sở hạ tầng AI tại biên

Giảm băng thông và sự phụ thuộc vào đám mây

Việc xử lý video, các luồng dữ liệu từ cảm biến và dữ liệu máy ngay tại chỗ giúp giảm nhu cầu truyền liên tục dữ liệu thô lên đám mây. Chỉ những sự kiện quan trọng, siêu dữ liệu (metadata) và các thông tin chi tiết đã được tổng hợp mới cần được truyền đi khỏi địa điểm đó.

Tăng cường quyền riêng tư dữ liệu và khả năng kiểm soát tại địa phương

Dữ liệu nhạy cảm về hình ảnh, hoạt động hoặc thông tin cá nhân có thể được lưu giữ trong một cơ sở hoặc khu vực nhất định. Điều này hỗ trợ các yêu cầu về chủ quyền dữ liệu và giảm thiểu rủi ro liên quan đến việc truyền dữ liệu thô qua mạng.

Độ trễ thấp hơn cho các quyết định theo thời gian thực

Trong an toàn công nghiệp, robot, kiểm tra chất lượng và hệ thống tự động, từng mili giây đều rất quan trọng. Suy luận AI cục bộ giúp tránh được sự chậm trễ do truyền tải mạng và xử lý trên đám mây gây ra.

Khả năng chống chịu vận hành cao hơn

Các hệ thống AI biên có thể tiếp tục hoạt động ngay cả khi kết nối bị gián đoạn. Điều này đặc biệt có giá trị đối với các địa điểm xa xôi, mạng lưới giao thông, cơ sở hạ tầng năng lượng và các cơ sở có yêu cầu nghiêm ngặt về thời gian hoạt động liên tục.

Tự động hóa có khả năng mở rộng

Cơ sở hạ tầng AI tại biên (edge ​​AI) được chuẩn hóa cho phép các tổ chức nhân rộng những triển khai thành công tại nhiều địa điểm khác nhau, đồng thời duy trì sự nhất quán về bảo mật, các phiên bản mô hình và chính sách vận hành.

Các trường hợp sử dụng cơ sở hạ tầng AI tại biên trong nhiều ngành công nghiệp

Sản xuất và Thị giác máy tính

Các nhà máy sử dụng cơ sở hạ tầng AI tại biên (edge ​​AI) để phát hiện lỗi, xác minh quy trình lắp ráp, bảo trì dự đoán, giám sát an toàn cho người lao động và điều hướng robot. Việc thực hiện suy luận ngay tại chỗ (local inference) cho phép nhận diện các vấn đề về chất lượng trước khi sản phẩm lỗi tiếp tục di chuyển xa hơn trên dây chuyền sản xuất.

Các thành phố thông minh và giao thông vận tải

Các hệ thống quản lý giao thông sử dụng camera tích hợp AI tại biên (edge ​​AI) để phát hiện tình trạng ùn tắc, các sự cố, hoạt động của người đi bộ và phân loại phương tiện. Trong lĩnh vực đường sắt, logistics và vận hành đội xe, công nghệ AI tại biên hỗ trợ giám sát tình trạng thiết bị và phân tích an toàn.

Bán lẻ và Kho bãi

Các nhà bán lẻ và đơn vị vận hành logistics triển khai AI tại biên (edge ​​AI) để giám sát kệ hàng, phân loại bưu kiện, ngăn ngừa thất thoát, theo dõi hàng tồn kho, phân tích mật độ người/không gian, cũng như thực hiện kiểm tra chất lượng tự động.

Năng lượng, Tiện ích và Tài sản từ xa

Các đơn vị cung cấp điện năng, các nhà vận hành năng lượng tái tạo cùng các công ty dầu khí sử dụng các hệ thống AI tại biên (edge ​​AI) để kiểm tra thiết bị, phát hiện những điểm bất thường, phân tích hình ảnh nhiệt và giám sát các tài sản ở những khu vực xa xôi, nơi khả năng kết nối có thể bị hạn chế.

Môi trường chăm sóc sức khỏe và phòng thí nghiệm

Edge AI có thể hỗ trợ các quy trình chẩn đoán hình ảnh y tế, tự động hóa phòng thí nghiệm, theo dõi tài sản và phân tích luồng bệnh nhân, đồng thời cho phép kiểm soát chặt chẽ hơn việc xử lý dữ liệu nhạy cảm.

Những thách thức phổ biến trong việc lập kế hoạch cơ sở hạ tầng Edge AI

Lựa chọn phần cứng biên phù hợp

Các tổ chức cần cân bằng giữa hiệu năng tính toán, mức tiêu thụ điện năng, thiết kế tản nhiệt, khả năng tương thích với bộ tăng tốc, các tùy chọn mở rộng và tuổi thọ vận hành dự kiến. Một mô hình thử nghiệm (proof of concept) có thể chạy trên thiết bị nhỏ gọn, trong khi các tác vụ sản xuất sử dụng nhiều camera có thể đòi hỏi một hệ thống GPU cấp công nghiệp.

Quản lý các thiết bị và chipset không đồng nhất

Các hệ thống tại biên (edge) thường bao gồm những thiết bị sử dụng các loại CPU, GPU, hệ điều hành, camera và giao diện mạng khác nhau. Việc sử dụng các container, API và cơ chế trừu tượng hóa phần cứng được tiêu chuẩn hóa sẽ giúp giảm bớt sự phức tạp trong quá trình triển khai.

Thiết kế các đường ống dữ liệu đáng tin cậy

Độ chính xác của AI phụ thuộc vào chất lượng dữ liệu. Các nhóm cần xác định cách thức thu thập, gắn nhãn, lưu giữ, lọc, đồng bộ hóa và sử dụng dữ liệu để huấn luyện lại mô hình, sao cho không gây quá tải cho bộ nhớ cục bộ hoặc băng thông mạng.

Bảo mật các hệ thống AI phân tán

An ninh cần bao gồm khởi động an toàn (secure boot), cơ chế thiết lập độ tin cậy dựa trên phần cứng (hardware-based root of trust), truyền thông mã hóa, quản lý danh tính, cập nhật phần mềm có chữ ký số, phân đoạn mạng và quản lý lỗ hổng bảo mật liên tục.

Hỗ trợ các hoạt động trong vòng đời

Các mô hình AI có thể bị lệch (drift) khi môi trường, sản phẩm, điều kiện ánh sáng hoặc quy trình vận hành thay đổi. Cơ sở hạ tầng AI tại biên (Edge AI) đòi hỏi phải giám sát tình trạng thiết bị, trạng thái ứng dụng, độ trễ suy luận, độ chính xác của mô hình và tính nhất quán giữa các phiên bản.

Cách Advantech hỗ trợ cơ sở hạ tầng AI tại biên

Advantech hỗ trợ cơ sở hạ tầng AI tại biên (edge ​​AI) bằng các nền tảng điện toán cấp công nghiệp, được thiết kế cho những môi trường triển khai đòi hỏi khắt khe. Danh mục sản phẩm AI tại biên của hãng bao gồm các hệ thống nhúng bền bỉ, máy tính công nghiệp, máy chủ biên tích hợp GPU, các nền tảng tăng tốc AI, cùng những hệ thống chuyên dụng cho thị giác máy (machine vision), tự động hóa, giao thông vận tải và các ứng dụng IoT thông minh. Các hệ thống AI tại biên của Advantech tương thích với những hệ sinh thái phần cứng AI phổ biến, bao gồm các nền tảng GPU NVIDIA và các mô-đun NVIDIA Jetson, cũng như các giải pháp tăng tốc AI dựa trên công nghệ Intel. Điều này cho phép các tổ chức lựa chọn kiến ​​trúc điện toán phù hợp dựa trên cường độ khối lượng công việc, giới hạn tiêu thụ điện năng, yêu cầu về lắp đặt vật lý và khả năng tương thích phần mềm.

Để phục vụ các hoạt động có khả năng mở rộng, Advantech còn cung cấp phần mềm biên (edge ​​software) và các tính năng quản lý thông qua hệ sinh thái WISE, giúp các tổ chức kết nối thiết bị, giám sát các hệ thống phân tán, quản lý ứng dụng, đồng thời tích hợp dữ liệu vận hành với các nền tảng đám mây và nền tảng doanh nghiệp. WEDA cùng các khả năng điều phối liên quan có thể hỗ trợ chuẩn hóa quy trình triển khai trên các môi trường biên phân tán.

Bằng cách kết hợp phần cứng công nghiệp, hệ thống tính toán sẵn sàng cho AI, khả năng kết nối, quản lý thiết bị cùng sự tích hợp từ biên đến đám mây (edge-to-cloud), Advantech hỗ trợ các doanh nghiệp chuyển đổi từ các dự án thử nghiệm AI riêng lẻ sang triển khai cơ sở hạ tầng AI tại biên (edge ​​AI) một cách đáng tin cậy và có khả năng mở rộng.