Suy luận AI tại biên (Edge AI Inference) là gì? Lợi ích, kiến ​​trúc và các trường hợp sử dụng

Những điểm chính về suy luận AI tại biên (Edge AI Inference)

Suy luận AI tại biên (Edge AI inference) là quá trình thực thi một mô hình trí tuệ nhân tạo đã được huấn luyện ngay tại nơi dữ liệu được tạo ra, ví dụ như trên camera AI, máy tính công nghiệp, bộ điều khiển robot hoặc máy chủ AI tại biên. Thay vì truyền tải mọi hình ảnh, dữ liệu cảm biến hay tín hiệu máy móc lên một nền tảng đám mây từ xa, hệ thống tại biên sẽ xử lý dữ liệu ngay tại chỗ và đưa ra kết quả có thể áp dụng được chỉ trong vài mili giây.

Đối với các tổ chức công nghiệp, kiến ​​trúc này mang lại một số lợi ích thiết thực:

• Giảm độ trễ cho các ứng dụng đảm bảo an toàn máy móc, phát hiện lỗi sản phẩm và điều khiển robot
• Tiết kiệm chi phí băng thông nhờ việc truyền tải các sự kiện và siêu dữ liệu thay vì dữ liệu video thô
• Tăng cường quyền riêng tư vì các dữ liệu nhạy cảm liên quan đến hình ảnh, quy trình sản xuất hoặc thông tin khách hàng có thể được lưu trữ cục bộ
• Nâng cao khả năng duy trì hoạt động ngay cả khi kết nối đám mây không ổn định hoặc bị gián đoạn
• Cung cấp thông tin vận hành theo thời gian thực cho các nhà máy, kho bãi, cơ sở bán lẻ và cơ sở hạ tầng đô thị thông minh

Khả năng suy luận của AI tại biên (Edge AI) không thay thế cho AI trên nền tảng đám mây. Thay vào đó, nó tạo ra một kiến ​​trúc AI phân tán: các thiết bị tại biên xử lý những quyết định tức thời, trong khi các hệ thống trên đám mây hoặc hệ thống doanh nghiệp đảm nhận vai trò giám sát tập trung, quản lý hệ thống thiết bị, phân tích dữ liệu và tái huấn luyện mô hình.

Suy luận AI tại biên (Edge AI Inference) là gì?

Suy luận AI tại biên (Edge AI inference) là quá trình triển khai và vận hành một mô hình AI đã được huấn luyện từ trước trên một thiết bị biên, đặt gần nguồn dữ liệu thực tế. Mô hình này tiếp nhận dữ liệu đầu vào, chẳng hạn như các khung hình video, dữ liệu LiDAR, âm thanh, tín hiệu rung hoặc các chỉ số từ cảm biến công nghiệp rồi đưa ra dự đoán, phân loại, phát hiện hoặc quyết định điều khiển.

Ví dụ, một mô hình thị giác máy tính được cài đặt trên máy tính công nghiệp trang bị GPU có thể kiểm tra các sản phẩm trên băng chuyền. Hệ thống này giúp phát hiện các linh kiện bị thiếu, vết trầy xước, nhãn dán không chính xác hoặc lỗi lắp ráp theo thời gian thực. Sau đó, hệ thống có thể kích hoạt bộ điều khiển logic lập trình (PLC), cơ chế loại bỏ sản phẩm lỗi, hệ thống cảnh báo hoặc ghi lại dữ liệu vào hệ thống điều hành sản xuất (MES).

Cần phân biệt giữa quá trình huấn luyện AI và quá trình suy luận AI:

• Quá trình huấn luyện AI sử dụng các tập dữ liệu lịch sử quy mô lớn cùng nguồn tài nguyên tính toán đáng kể để tạo ra một mô hình.
• Quá trình suy luận AI áp dụng mô hình đã được huấn luyện đó vào các dữ liệu mới, thực tế để tạo ra kết quả.

Mặc dù việc huấn luyện mô hình thường diễn ra trong trung tâm dữ liệu đám mây hoặc môi trường máy chủ tập trung, nhưng suy luận AI tại biên được thiết kế để thực thi nhanh chóng, cục bộ và ở cấp độ sản xuất.

Suy luận AI tại biên so với suy luận AI trên đám mây và suy luận AI tại chỗ

Các tổ chức có thể thực thi suy luận AI tại biên (edge), trên nền tảng đám mây hoặc trên cơ sở hạ tầng tập trung tại chỗ. Lựa chọn phù hợp phụ thuộc vào các yêu cầu về độ trễ, khối lượng dữ liệu, khả năng kết nối, chính sách bảo mật và quy mô triển khai.

Suy luận AI tại biên (Edge AI Inference)

Quá trình suy luận bằng AI tại biên (Edge AI inference) diễn ra gần các camera, cảm biến, máy móc và người dùng. Công nghệ này đặc biệt phù hợp với các ứng dụng đòi hỏi độ trễ thấp, chẳng hạn như khả năng nhận diện của robot, kiểm tra quang học tự động, phân tích lưu lượng giao thông và giám sát an toàn cho người lao động. Việc xử lý dữ liệu tại chỗ cũng giúp giảm thiểu nhu cầu truyền tải các luồng video có băng thông lớn.

Suy luận AI trên nền tảng đám mây

Suy luận AI trên nền tảng đám mây xử lý dữ liệu trong cơ sở hạ tầng siêu quy mô từ xa. Nó hỗ trợ khả năng mở rộng linh hoạt, cập nhật mô hình tập trung và truy cập vào các tài nguyên tính toán mạnh mẽ. Tuy nhiên, việc truyền tải qua mạng có thể gây ra độ trễ, chi phí băng thông định kỳ và các vấn đề về quyền riêng tư, đặc biệt là đối với phân tích video độ phân giải cao.

Suy luận AI tại chỗ (On-Premises)

Quá trình suy luận AI tại chỗ (on-premises) diễn ra trong trung tâm dữ liệu của doanh nghiệp, phòng máy chủ tại nhà máy hoặc trung tâm điều khiển cục bộ. Phương thức này có thể đáp ứng các yêu cầu quản trị nghiêm ngặt, đồng thời cung cấp năng lực tính toán lớn hơn so với các thiết bị biên (edge ​​device) riêng lẻ. Tuy nhiên, khoảng cách vẫn có thể là quá xa đối với các tác vụ điều khiển máy móc đòi hỏi độ trễ tính bằng mili giây.

Trên thực tế, nhiều doanh nghiệp sử dụng kiến ​​trúc AI kết hợp giữa biên và đám mây (edge-to-cloud): các thiết bị tại biên đưa ra quyết định tức thời, trong khi các nền tảng tại chỗ hoặc trên đám mây thực hiện thu thập thông tin chuyên sâu, quản lý các mô hình và phân tích các xu hướng dài hạn.

Cách thức hoạt động của suy luận AI tại biên (Edge AI Inference)

Quy trình suy luận AI tại biên chuyển đổi dữ liệu thô theo thời gian thực thành quyết định vận hành thông qua một chuỗi các giai đoạn kết nối với nhau.

Thu thập dữ liệu trực tiếp từ camera, cảm biến hoặc máy móc

Dữ liệu bắt nguồn từ các nguồn như camera GigE hoặc USB, camera IP, camera nhiệt, micrô, thiết bị LiDAR, bộ điều khiển logic lập trình được (PLC), cảm biến rung và các hệ thống robot. Trong một nhà máy thông minh, hệ thống thị giác có thể thu thập nhiều khung hình mỗi giây từ một dây chuyền sản xuất.

Tiền xử lý dữ liệu tại chỗ

Thiết bị biên chuẩn bị dữ liệu đầu vào cho mô hình AI. Các bước tiền xử lý điển hình bao gồm thay đổi kích thước hình ảnh, chuẩn hóa, cắt vùng quan tâm, lọc nhiễu, đồng bộ hóa cảm biến và chuyển đổi định dạng dữ liệu. Việc tiền xử lý hiệu quả là yếu tố thiết yếu để đảm bảo hiệu suất suy luận ổn định và có thể dự đoán trước.

Thực thi mô hình AI

Môi trường thực thi AI (AI runtime) vận hành các mô hình như YOLO để phát hiện đối tượng, mạng thần kinh tích chập (CNN) để phân loại hình ảnh, hoặc mô hình phân đoạn (segmentation model) nhằm phân tích lỗi ở cấp độ điểm ảnh. Các bộ tăng tốc phần cứng, bao gồm GPU NVIDIA, NPU, VPU và các mô-đun Jetson, giúp cải thiện lưu lượng xử lý và thời gian phản hồi.

Kích hoạt các hành động và chia sẻ kết quả

Hệ thống chuyển đổi kết quả suy luận thành một hành động cụ thể: dừng máy, điều hướng robot di động tự hành (AMR), mở cổng, gửi cảnh báo hoặc ghi nhận lỗi. Thông thường, chỉ các siêu dữ liệu (metadata), đoạn video sự kiện hoặc kết quả tóm tắt mới được truyền đến các hệ thống SCADA, MES, WMS, ERP hoặc các nền tảng đám mây.

Các lợi ích chính của suy luận AI tại biên

• Độ trễ thấp hơn cho các quyết định nhạy cảm về thời gian: Bằng cách loại bỏ quá trình truyền dữ liệu khứ hồi đến máy chủ từ xa, công nghệ suy luận AI tại biên (edge ​​AI inference) có thể hỗ trợ đưa ra quyết định gần như theo thời gian thực. Điều này đặc biệt quan trọng đối với các tác vụ như kiểm tra tốc độ cao, tránh va chạm, chọn lọc bằng robot và giám sát an toàn – những lĩnh vực mà sự chậm trễ trong phản hồi có thể làm giảm chất lượng hoặc gây ra rủi ro.
• Tăng cường quyền riêng tư dữ liệu và khả năng kiểm soát tại chỗ: Video từ các cửa hàng bán lẻ, không gian công cộng, cơ sở y tế và nhà máy sản xuất có thể chứa thông tin nhạy cảm. Việc xử lý suy luận tại chỗ (local inference) cho phép các tổ chức lưu giữ dữ liệu thô ngay tại cơ sở, đồng thời chỉ truyền đi các số liệu đã được ẩn danh, các sự kiện phát hiện hoặc các chỉ số vận hành.
• Giảm chi phí băng thông và xử lý trên nền tảng đám mây: Các camera độ nét cao tạo ra lượng dữ liệu rất lớn. Việc xử lý video ngay tại chỗ giúp giảm sự phụ thuộc vào việc liên tục tải dữ liệu lên đám mây, đặc biệt là trong các hệ thống sử dụng nhiều camera tại các nhà máy, kho bãi và các địa điểm trong mô hình đô thị thông minh.
• Độ tin cậy cao hơn trong các môi trường từ xa hoặc khắc nghiệt: Các địa điểm công nghiệp, tài sản di động, hầm mỏ, cảng biển và cơ sở hạ tầng ngoài trời không phải lúc nào cũng có kết nối ổn định. Hệ thống AI tại biên (edge ​​AI) vẫn tiếp tục hoạt động ngay cả khi mạng bị gián đoạn, nhờ đó duy trì quyền tự chủ tại chỗ và đảm bảo tính liên tục trong vận hành.
• Tự động hóa nhanh hơn và khả năng hiển thị vận hành tốt hơn: Công nghệ suy luận AI tại biên (Edge AI inference) chuyển đổi dữ liệu thực tế trực tiếp thành các sự kiện mà máy tính có thể hiểu được. Nhờ đó, các tổ chức có thể phát hiện lỗi sớm hơn, tối ưu hóa quy trình, nâng cao hiệu suất sử dụng tài sản, cũng như phản ứng nhanh hơn trước các sự cố về an toàn hoặc an ninh.

Kiến trúc suy luận AI tại biên: Thiết bị, bộ tăng tốc, môi trường thực thi và dữ liệu

Một kiến ​​trúc suy luận AI tại biên (edge ​​AI) đáng tin cậy là sự kết hợp giữa phần cứng, phần mềm, khả năng kết nối và quản lý vòng đời.

Các thiết bị AI tại biên và máy tính công nghiệp

Các thiết bị đầu cuối tại biên (edge ​​endpoints) rất đa dạng, từ các camera tích hợp AI nhỏ gọn đến máy tính công nghiệp không quạt, máy tính lắp trên thanh ray DIN, máy tính nhúng dạng hộp và máy chủ biên dạng lắp tủ rack. Các hệ thống đạt chuẩn công nghiệp thường được ưu tiên lựa chọn nhờ khả năng hoạt động trong dải nhiệt độ rộng, chống rung lắc, hỗ trợ vòng đời sản phẩm dài và cung cấp các tùy chọn I/O linh hoạt.

Các bộ tăng tốc AI: GPU, NPU, VPU và các nền tảng Jetson

Các bộ tăng tốc quyết định mức độ hiệu quả mà hệ thống vận hành các khối lượng công việc AI:

• GPU hỗ trợ xử lý song song cho các hệ thống thị giác sử dụng nhiều camera, trí tuệ nhân tạo tạo sinh (generative AI) và các mô hình phức tạp.
• NPU cung cấp khả năng suy luận tiết kiệm năng lượng cho các ứng dụng nhúng.
• VPU thường được sử dụng cho các tác vụ thị giác đã được tối ưu hóa.
• Các nền tảng NVIDIA Jetson tích hợp khả năng tăng tốc bằng GPU vào những hệ thống AI tại biên (edge ​​AI) nhỏ gọn, phục vụ cho lĩnh vực robot, thị giác máy tính và các thiết bị tự hành.

Môi trường thực thi AI và tối ưu hóa mô hình

Phần mềm suy luận có thể sử dụng các công cụ triển khai như NVIDIA TensorRT, CUDA, DeepStream, ONNX Runtime, OpenVINO, TensorFlow Lite hoặc PyTorch. Việc tối ưu hóa mô hình, chẳng hạn như lượng tử hóa (quantization), cắt tỉa (pruning) và chuyển đổi sang định dạng ONNX, có thể giúp giảm mức sử dụng bộ nhớ và cải thiện tốc độ khung hình mà không làm ảnh hưởng đáng kể đến độ chính xác.

Tích hợp và giám sát dữ liệu

Việc triển khai trong môi trường sản xuất đòi hỏi sự tích hợp với các PLC, OPC UA, Modbus, MQTT, REST API, cơ sở dữ liệu và các ứng dụng doanh nghiệp. Bên cạnh đó, việc giám sát thiết bị, cập nhật phần mềm từ xa, kiểm soát an ninh mạng và quản lý phiên bản mô hình cũng đóng vai trò quan trọng không kém đối với các hoạt động AI tại biên (edge ​​AI) có khả năng mở rộng.

Các tùy chọn phần cứng cho suy luận AI tại biên

Việc lựa chọn phần cứng cần phù hợp với độ phức tạp của mô hình, số lượng camera, điều kiện môi trường, giới hạn công suất và thời gian phản hồi yêu cầu.

Camera AI thực hiện suy luận ngay trên thiết bị

Camera AI kết hợp khả năng ghi hình, xử lý nhúng và suy luận AI trong cùng một thiết bị. Loại thiết bị này phù hợp cho các tác vụ như phân loại đơn giản, đếm số lượng người, nhận diện mã vạch, giám sát mật độ người và kiểm tra quy mô nhỏ. Nhờ yêu cầu không gian lắp đặt tối giản, thiết bị này giúp đơn giản hóa việc triển khai tại nhiều vị trí khác nhau.

Các hệ thống AI biên dựa trên nền tảng Jetson

Các hệ thống dựa trên nền tảng NVIDIA Jetson được sử dụng rộng rãi trong lĩnh vực robot, robot di động tự hành (AMR), thiết bị bay không người lái (drone), giao thông thông minh và thị giác máy. Chúng mang đến sự cân bằng giữa hiệu suất AI được tăng tốc bởi GPU, thiết kế nhỏ gọn và khả năng tiết kiệm năng lượng, phù hợp cho các ứng dụng đòi hỏi năng lực nhận thức tại chỗ.

Các hệ thống suy luận AI (AIR)

Các hệ thống suy luận AI dòng AIR của Advantech được thiết kế cho các khối lượng công việc AI tại biên (edge ​​AI) trong môi trường công nghiệp, vốn đòi hỏi khả năng tăng tốc bằng GPU có thể mở rộng, thiết kế cơ học bền bỉ và sự linh hoạt trong triển khai. Các hệ thống này có thể hỗ trợ nhiều ứng dụng như phân tích dữ liệu từ nhiều camera, kiểm tra quang học tự động, giám sát video thông minh và tự động hóa công nghiệp tích hợp AI.

Máy tính công nghiệp tích hợp GPU và máy chủ AI tại biên (Edge AI)

Các máy tính công nghiệp (IPC) tích hợp GPU phù hợp cho các tác vụ AI tại xưởng sản xuất hoặc ngay tại vị trí máy móc, nơi đòi hỏi kết nối với nhiều camera, các cổng I/O công nghiệp và khả năng mở rộng hệ thống. Trong khi đó, các máy chủ AI biên (Edge AI server) cung cấp mật độ tính toán cao hơn cho các hệ thống quy mô lớn hơn, chẳng hạn như phân tích video đa luồng, các trung tâm điều hành đô thị thông minh, hoặc thực hiện suy luận AI tập trung tại các nhà máy hay kho bãi.

Các trường hợp sử dụng suy luận AI tại biên trong các ngành công nghiệp

Kiểm tra chất lượng tự động trong sản xuất

Một camera ghi lại hình ảnh các sản phẩm trên dây chuyền sản xuất, trong khi hệ thống AI tại biên (edge ​​AI) thực hiện nhận diện các khiếm khuyết trên bề mặt, lỗi lắp ráp, thiếu linh kiện hoặc sai sót trên nhãn mác. Kết quả này có thể kích hoạt cơ chế loại bỏ sản phẩm lỗi thông qua bộ điều khiển logic lập trình được (PLC). Các nhà sản xuất nhờ đó đạt được quy trình kiểm tra nhất quán hơn, giảm tỷ lệ phế phẩm và có được hồ sơ chất lượng có thể truy xuất nguồn gốc.

Thị giác máy và phát hiện lỗi

Trong các ngành công nghiệp bán dẫn, điện tử, ô tô và đóng gói, các mô hình thị giác AI kiểm tra các mẫu phức tạp mà khó có thể xác định chỉ bằng thị giác máy dựa trên quy tắc. Các bộ xử lý tích hợp GPU (GPU IPC) hoặc hệ thống suy luận AI có thể xử lý hình ảnh độ phân giải cao với tốc độ sản xuất.

Nhận thức về Robot và AMR

Các robot và robot di động tự hành sử dụng công nghệ suy luận AI tại biên (edge ​​AI inference) để phát hiện pallet, con người, kệ hàng, vật cản và các lối đi thông thoáng. Việc thực hiện suy luận ngay tại thiết bị giúp nhận diện nhanh chóng và giảm sự phụ thuộc vào kết nối không dây trong quá trình di chuyển trong kho hàng.

Phân tích video cho đô thị thông minh

Các hệ thống AI tại biên (Edge AI) xử lý dữ liệu từ camera giao thông để phát hiện phương tiện, sự di chuyển của người đi bộ, tình trạng đỗ xe trái phép, ùn tắc hoặc các sự cố an toàn. Việc xử lý dữ liệu tại chỗ giúp giảm lưu lượng truyền tải về trung tâm, đồng thời cho phép các cơ quan công quyền chỉ gửi đi những cảnh báo cần thiết hoặc các số liệu thống kê giao thông đã được ẩn danh hóa.

Thông tin chuyên sâu về bán lẻ và cơ sở vật chất

Camera tích hợp AI có thể đo lường độ dài hàng đợi, tình trạng hàng hóa trên kệ, lưu lượng khách hàng và việc ra vào các khu vực hạn chế. Công nghệ xử lý tại biên (edge ​​processing) hỗ trợ vận hành cửa hàng một cách linh hoạt, đồng thời giúp các đơn vị tuân thủ những quy định về xử lý dữ liệu tại chỗ và chính sách bảo mật thông tin.

Cách Advantech hỗ trợ suy luận AI tại biên

Advantech hỗ trợ hoạt động suy luận AI tại biên (edge ​​AI inference) thông qua các giải pháp phần cứng và phần mềm công nghiệp, được thiết kế để triển khai bên ngoài các trung tâm dữ liệu truyền thống. Danh mục sản phẩm của hãng bao gồm các hệ thống suy luận AI dòng AIR, máy tính công nghiệp tích hợp GPU, máy tính nhúng tại biên, camera AI, các nền tảng dựa trên công nghệ NVIDIA Jetson cùng các giải pháp máy chủ AI tại biên.

Các nền tảng này giúp các tổ chức điều chỉnh năng lực tính toán AI sao cho phù hợp với yêu cầu vận hành—từ các hệ thống quy mô nhỏ sử dụng một camera duy nhất cho đến các hệ thống thị giác công nghiệp đa camera. Những đặc tính dành riêng cho môi trường công nghiệp, như vòng đời sản phẩm kéo dài, cổng I/O có thể cấu hình, thiết kế bền bỉ và khả năng mở rộng, đặc biệt hữu ích cho các dự án trong lĩnh vực sản xuất, giao thông vận tải, logistics và đô thị thông minh.

Advantech còn hỗ trợ toàn bộ vòng đời của AI tại biên (edge ​​AI) thông qua các nền tảng và năng lực phần mềm, chẳng hạn như WISE dành cho việc quản lý và trực quan hóa IoT, cùng WEDA phục vụ các quy trình phát triển và triển khai AI tập trung vào dữ liệu. Kết hợp với các môi trường thực thi AI (AI runtimes), ứng dụng dạng container, khả năng quản lý thiết bị từ xa và tích hợp cấp doanh nghiệp, những công cụ này giúp các nhóm chuyển đổi từ giai đoạn chứng minh khái niệm (proof of concept) sang triển khai thực tế ổn định và dễ dàng duy trì.

Đối với các tổ chức xây dựng các ứng dụng AI thời gian thực, mục tiêu không chỉ đơn thuần là chọn một bộ xử lý mạnh mẽ. Thay vào đó, họ cần tạo ra một kiến ​​trúc suy luận AI tại biên (edge ​​AI inference architecture) có khả năng kết nối một cách tin cậy các thành phần: thu thập dữ liệu, các mô hình đã được tối ưu hóa, phần cứng công nghiệp, tích hợp hệ thống và các hoạt động vận hành liên tục.