Đánh giá tai nạn xe được hỗ trợ bởi công nghệ mô hình ngôn ngữ lớn LLM

Việc soạn thảo các văn bản xử lý tai nạn giao thông theo truyền thống đòi hỏi nhiều công sức và dễ xảy ra sai sót. Mỗi văn bản đòi hỏi sự tuân thủ nghiêm ngặt thuật ngữ pháp lý, tuân thủ quy định và tính nhất quán về mặt logic. Cách tiếp cận thủ công thường bao gồm việc xem xét lại nhiều lần, tốn thời gian quý báu, giảm hiệu quả và làm xói mòn niềm tin của công chúng vào sự công bằng.

Bằng cách áp dụng công nghệ AI và mô hình ngôn ngữ lớn LLM, các cơ quan giám sát có thể đơn giản hóa quy trình này. LLM phân tích dữ liệu tai nạn đa phương thức—bao gồm báo cáo văn bản, video và hình ảnh - trích xuất thông tin quan trọng và tự động tạo ra các kết quả đầu ra có cấu trúc như đánh giá an toàn, báo cáo va chạm và yêu cầu bồi thường bảo hiểm. Cách tiếp cận này cải thiện đáng kể độ chính xác, hiệu quả và khả năng sử dụng nguồn lực.

Các thách thức

Một khách hàng ở Đài Loan đã yêu cầu giải pháp dựa trên LLM để giải quyết những thách thức sau:

• Chi phí bảo mật dữ liệu cao: Việc quản lý dữ liệu pháp lý nhạy cảm trên nền tảng đám mây đòi hỏi đầu tư lớn vào bảo vệ quyền riêng tư và truyền dữ liệu an toàn.
• Tích hợp kiến ​​thức: Việc tích hợp các cơ sở kiến ​​thức nội bộ phức tạp đòi hỏi nhiều công sức và thời gian, làm chậm hiệu quả tổng thể.
• Độ chính xác nhất quán: Việc đảm bảo các LLM tuân thủ các quy định nghiêm ngặt về pháp lý, bảo mật dữ liệu và quyền riêng tư là rất quan trọng. Một giải pháp tinh chỉnh là cần thiết để duy trì độ chính xác và độ tin cậy.

Giải pháp

Advantech cung cấp các giải pháp LLM tích hợp phần cứng và phần mềm toàn diện tại chỗ để ghi lại các vụ tai nạn giao thông, bao gồm hệ thống suy luận LLM hiệu suất cao AIR-030, hệ thống tinh chỉnh LLM AIR-520 (hỗ trợ Gemma 3 27B) và Edge AI SDK/GenAI Studio. Các giải pháp này được triển khai toàn diện tại biên, đảm bảo an ninh và quyền riêng tư dữ liệu.

Advantech GenAI Studio cung cấp quy trình làm việc hoàn chỉnh cho việc tinh chỉnh và đào tạo LLM, cho phép khách hàng sắp xếp các tài liệu tham khảo, chẳng hạn như quy định giao thông, hồ sơ tai nạn, khuyến nghị của ủy ban và báo cáo phán quyết vào một tập dữ liệu Câu hỏi - Tài sản có cấu trúc trên máy tính HPC AI biên AIR-520. Với GenAI Studio, khách hàng của chúng tôi có thể tải mô hình Gemma 3 27B và thực hiện tinh chỉnh. Sau khi đào tạo hoàn tất, việc xác thực và kiểm tra mô hình có thể được thực hiện trực tiếp. Trước khi triển khai mô hình đã tinh chỉnh vào dịch vụ suy luận chatbot, GenAI Studio cũng hỗ trợ chuyển đổi sang phiên bản lượng tử INT4, giúp tăng đáng kể hiệu quả suy luận.

Toàn bộ quy trình đầu cuối, từ chuẩn bị dữ liệu, đào tạo, xác thực đến triển khai được thực hiện liền mạch trên máy chủ biên AIR-520, được trang bị bộ xử lý AMD EPYC 7003, hai GPU NVIDIA RTX™ 6000 Ada và SSD AI ai100 2TB. AIR-520 giúp giảm chi phí bằng cách mở rộng dung lượng vRAM của GPU. Bộ nguồn tích hợp 1200W (tổng công suất 700W) đảm bảo hoạt động đáng tin cậy 24/7.

Mô hình được tinh chỉnh sau đó được triển khai trên hệ thống suy luận AI biên AIR-030 được tăng tốc bởi NVIDIA Jetson AGX Orin™, cùng với Edge AI SDK, để lưu trữ mô hình Gemma 3 27B đã được tinh chỉnh và lượng tử hóa, đồng thời cung cấp các dịch vụ suy luận LLM chuyên dụng. Nhìn chung, giải pháp tích hợp của Advantech không chỉ đơn giản hóa việc xem xét tài liệu, truy xuất dữ liệu và tạo báo cáo mà còn đảm bảo hiệu quả chi phí khi mở rộng quy mô trên nhiều địa điểm.

Lợi Ích

• Hiệu quả công việc dự kiến ​​sẽ tăng hơn 60%, giảm thời gian soạn thảo văn bản xét xử từ vài giờ/ngày xuống còn vài phút.
• Giảm tỷ lệ sai sót, giảm thiểu tranh chấp do soạn thảo thủ công hoặc sai sót trong phán quyết.
• Các chuyên gia pháp lý có thể tập trung vào việc phân tích các vụ án phức tạp hơn, thực sự tối ưu hóa việc phân bổ nguồn nhân lực.
• Nâng cao niềm tin của công chúng, cho phép xử lý dữ liệu tập trung và định hình hình ảnh chính phủ.