GenAI와 LLM을 활용한 시민 서비스 및 효율성 향상
27-08-2024
배경
도시 정부가 새로운 정책을 도입할 때, 일반적으로 많은 고객 서비스 담당자가 해당 정책의 세부 사항을 이해해야 하므로 시민의 문의에 대응할 수 있습니다. 생성형 AI 기반의 인간-로봇 협업 시스템을 시민 헬프라인에 도입하면 효율성, 가용성, 정확성 및 서비스 개인화가 크게 향상될 수 있습니다. 이 기술은 자원 배분을 최적화하고, 증가한 수요를 처리할 수 있도록 확장하며, 데이터 분석을 통해 유용한 인사이트를 제공합니다. 그 결과, 시민들이 정확하고 신속한 정보를 제공받을 수 있도록 하여, 인간 대표자들이 더 복잡한 업무에 집중할 수 있게 도와줍니다.
도전 과제
도시 정부는 AI 기술 도입에 있어 여러 가지 장애물에 직면했습니다:
기술적 인프라와 전문성: AI를 구현하려면 고급 기술 인프라와 숙련된 인력이 필요하며, 이는 비용이 많이 들고 확보하거나 유지하는 데 어려움이 따를 수 있습니다.
응답의 편향: 대형 언어 모델(LLM)은 훈련 데이터를 통해 편향을 물려받을 수 있어, 편향적이거나 차별적인 응답을 초래할 수 있습니다. 이는 시민들과의 오해를 불러일으키고 불만을 초래하며, 신뢰와 신용을 손상시킬 수 있습니다.
지속적인 훈련과 업데이트: LLM은 새로운 정책, 규정, 그리고 떠오르는 문제들에 맞춰 정기적인 업데이트와 재훈련이 필요합니다. 이를 위해 데이터 수집과 모델 개선에 지속적인 투자가 요구됩니다.
어드밴텍 솔루션
이러한 도전 과제를 극복하기 위해 고객은 AIR-520 LLM 미세 조정 솔루션을 선택했습니다. 이 솔루션은 다음과 같은 구성 요소를 포함합니다:
AIR-520 엣지 AI 서버 시스템과 aiDAPTIV+ ai100 AI SSD: 이 서버급 시스템은 ai100 SSD와 특허 받은 미들웨어를 장착하여, 자체 모델 훈련 및 미세 조정에 간단하고 비용 효율적인 솔루션을 제공합니다.
모델 미세 조정을 위한 코드 없는 GUI: 사용자 친화적인 코드 없는 그래픽 사용자 인터페이스(GUI)를 통해 고객은 로컬 데이터셋을 사용하여 AI 모델을 미세 조정할 수 있었으며, 생성된 콘텐츠의 품질과 정확성을 향상시킬 수 있었습니다.
ISV 협력을 통한 맞춤형 온프레미스 LLM: 어드밴텍은 ISV 파트너가 제공하는 맞춤형 LLM 서비스와 결합하여, 호환성이나 통합 문제 없이 빠른 시장 진입을 가능하게 하는 종합적인 패키지를 제공함으로써 고객이 기술적 장벽을 제거할 수 있도록 도왔습니다. 통합된 솔루션은 훈련 과정을 자동화하고, 배포 속도를 높이며, 엣지에서의 역사적인 Q&A 및 콘텐츠 수정을 수집하여 서비스 품질을 지속적으로 개선합니다.
혜택
- 인적 자원의 80% 절감: LLM이 일상적인 문의를 처리함으로써, 인간 고객 서비스 담당자는 더 복잡하고 우선순위가 높은 사례에 집중할 수 있어 인간의 판단과 공감이 필요한 상황에 더 많은 시간을 할애할 수 있습니다.
- 24/7 가용성: AIR-520에서 실행되는 LLM은 연중무휴 지원을 제공하여, 시민들이 정규 근무 시간 외에도 언제든지 지원을 받을 수 있도록 합니다. 이는 접근성과 응답성을 향상시킵니다.
- 검증된 턴키 솔루션: 어드밴텍과 ISV는 원활한 개발, 배포 및 지속적인 개선을 보장하기 위해 통합된 종합 솔루션을 제공했습니다.
-25/PR-AIR-520_w820h46020240830105212.jpg)
-25/EPC-B5000_Front-left--_Square20231115180815.jpg)
-25/AIR-520_04--20240503141558.jpg)
-25/AIR-510_04--20240806132906.jpg)
