어드밴텍, 엣지 AI SDK에 GenAI Studio 도입 – 엣지 AI 혁신을 위한 온프레미스 LLM 개발 지원
24-01-2025
타이베이, 2025년 1월 21일 – 어드밴텍(TWSE: 2395)은 AIoT 플랫폼 및 서비스의 선도 제공업체로서, 비용 효율적인 온프레미스 대규모 언어 모델(LLM) 솔루션에 대한 증가하는 수요를 충족하기 위해 어드밴텍 엣 AI SDK를 위한 새로운 소프트웨어인 GenAI Studio를 발표했습니다. 이 이니셔티브는 GPU 의존도를 크게 줄임으로써 비용을 절감하고, 개발자와 중소기업(SMBs)이 생성형 AI 기술을 보다 폭넓게 활용할 수 있도록 지원하는 것을 목표로 합니다.
산업 과제를 해결하기 위한 AI 개발 가속화
어드밴텍 엣지 AI SDK 소프트웨어 중 하나인 GenAI Studio는 주요 산업 과제를 해결합니다. 예를 들어, 공장 작업자가 중요한 정보를 기다리는 시간을 단축하고, 의료 전문가의 문서 작업 부담을 완화합니다. 코드 작성 없이 사용할 수 있는 비용 효율적인 플랫폼인 GenAI Studio는 LLM(Large Language Model)의 도입을 간소화하여 기업이 AI 솔루션을 빠르고 효율적으로 배포할 수 있도록 지원하며, 생산성과 운영 효율성을 향상시킵니다. 어드밴텍 엣지 AI SDK에 맞춰 설계된 GenAI Studio는 OpenAI, Gemini, Anthropic, Ollama와 같은 로컬 및 클라우드 기반 LLM을 포함한 다양한 LLM 플랫폼과의 뛰어난 통합 기능을 제공합니다. 또한, 제한된 GPU 리소스 환경에서도 최적화된 풀 파라미터 파인튜닝 기능을 도입하여 더 넓은 접근성과 성능 개선을 가능하게 합니다.
GenAI Studio, LLM 개발을 위한 종합 도구 제공
- 통합 파인튜닝 및 추론 서비스: GenAI Studio는 파인튜닝과 추론 기능을 결합하여 하드웨어 활용을 극대화하며, 리소스를 더욱 유연하고 효율적으로 배분할 수 있도록 지원합니다.
- 고급 GPU 리소스 관리 및 작업 스케줄링: AI 하드웨어 성능을 최적화할 수 있는 이 기능은 고가치 장비의 비용 효율성을 높이는 데 기여합니다.
AI의 급속한 발전은 접근 가능한 LLM 솔루션의 중요성을 부각시켰지만, 많은 기업은 제한된 자원으로 인해 어려움을 겪고 있습니다. 어드밴텍 엣지 AI SDK는 엣지 AI 애플리케이션의 효율적인 평가, 개발, 배포를 지원하는 도구 세트를 제공하여 이러한 과제를 해결합니다. 예를 들어, 700억 개 파라미터를 가진 LLM을 파인튜닝하는 데 전통적으로는 48GB 메모리를 갖춘 GPU 30개 이상이 필요했으나, 어드밴텍 엣지 AI SDK를 사용하면 단 4개의 GPU로도 가능합니다. 이는 리소스 요구량을 87% 줄여 비용을 크게 절감하고, LLM 솔루션을 보다 쉽게 구현할 수 있도록 합니다.
어드밴텍의 GenAI Studio와 엣지 AI 서버로 AI 혁신 촉진
GenAI Studio와 함께, 어드밴텍의 AIR-520 엣지 AI 서버는 NVIDIA RTX GPU와 Phison AI SSD를 탑재한 강력한 하드웨어 플랫폼을 제공합니다. 이 통합 솔루션은 제조, 헬스케어, 소매업 등 다양한 산업에서 AI 애플리케이션의 요구를 충족시킬 수 있도록 설계된 신뢰성 높은 고효율 컴퓨팅 성능을 제공합니다.
어드밴텍 엣지 AI SDK: 모델 파인튜닝에서 배포까지 워크플로우 간소화
어드밴텍 엣지 AI SDK는 원활한 엣지 AI 개발을 위해 설계된 완전 통합 플랫폼입니다. 사전 구성된 하드웨어와 최적화된 소프트웨어를 제공하여 플러그 앤 플레이 경험을 제공하며, 비용 효율적인 LLM 맞춤화, 원활한 툴킷 호환성 및 대규모 엣지 배포 관리의 용이성을 지원합니다. 신뢰성, 확장성 및 사용자 친화성을 고려하여 설계된 어드밴텍 Edge AI SDK는 AI 혁신을 위한 경로를 간소화합니다. 현재는 세 가지 핵심 구성 요소를 포함하고 있습니다:
- GenAI Studio: 맞춤형 LLM의 생성, 평가 및 통합을 비용 효율적으로 지원하며, 온프레미스에서 실행됩니다.
- Inference Kit: 임베디드 운영 체제와 호환되는 효율적인 AI 런타임의 빠른 최적화 및 평가를 가능하게 합니다.
- Orchestration Platform: 대규모 엣지 배포에서 AI 모델 및 애플리케이션 업데이트를 효율적으로 관리하며, MLOps를 통합하여 원활한 운영을 지원합니다.
어드밴텍은 엣지 AI SDK와 새롭게 추가된 GenAI Studio 소프트웨어 모듈을 통해 기업들이 AI 솔루션을 보다 효율적이고 비용 효과적으로 개발하고 배포할 수 있는 능력을 강화하고 있습니다.
-25/AIR-520_04--20240503141558.jpg)
