서울--(뉴스와이어)--AI 옵저버빌리티 및 평가 플랫폼 기업 Arize AI는 LG유플러스가 국내 최대 규모의 AI 기반 고객 서비스 운영 시스템인 AI 컨택센터(AICC)의 LLMOps 고도화를 위해 Arize AX 플랫폼을 도입했다고 발표했다.

Arize AX는 LG유플러스의 완전한 폐쇄망 환경에 Self-hosted로 구축돼, 엄격한 엔터프라이즈 보안 요건을 충족하면서 전국 17개 고객센터와 4000명 이상의 상담사에게 프로덕션 규모의 AI 옵저버빌리티를 제공하고 있다.

사업 주요 사항

· Private LLM 등을 연동한 하이브리드 클라우드 환경에서 다수의 모델을 운영, 모든 데이터 처리는 사내 보안 가이드라인을 준수

· Arize AX는 외부 인터넷 접속이 전면 차단된 LG유플러스의 폐쇄망 내에서 구동돼, 상담 데이터가 외부 모델 학습에 활용될 리스크를 물리적으로 제거

· 현재 활용 중인 플랫폼 기능: LLM 트레이싱 및 모니터링, 프롬프트 최적화 및 실험, 자동화된 평가 파이프라인

· SSO 연동, 프로젝트별 접근 권한 제어, 비상용/상용 환경의 완격한 격리를 통해 내부 데이터 접근 보안 강화

· 도입 성과: 개발 리드타임 단축, 장애 대응 시간 단축, 인프라 관리 부담 경감

의미

Arize AX는 LG유플러스가 전국 규모의 실제 고객 상담을 처리하는 복잡한 AI 시스템을 운영하고, 모니터링하고, 지속적으로 개선하기 위해 활용하는 핵심 인프라이다. 이번 구축 사례는 엔터프라이즈 AI 옵저버빌리티가 더 이상 선택이 아닌 필수임을 보여주며, 가장 엄격한 보안 요건을 갖춘 조직도 기능의 타협 없이 최신 LLMOps를 운영할 수 있음을 입증한다.

Arize AI 이승민 APAC 기술총괄은 “LG유플러스의 AICC는 폐쇄망 환경에서 다수의 LLM을 연동해 운영하는 고도화된 AI 상담 시스템이다. Arize AX는 이러한 엔터프라이즈 환경의 복합적 요구사항을 충족하면서, LLM 트레이싱부터 평가 파이프라인까지 엔드투엔드 옵저버빌리티를 지원하고 있다”고 밝혔다.

LG유플러스 정진수 AICC DevOps Lead는 “Arize는 LLMOps를 넘어선 AI Platform이라고 생각한다. 폐쇄망 환경에서도 엔터프라이즈 수준의 보안과 운영 효율성을 모두 충족하면서, 데이터셋·프롬프트 관리부터 모델 평가까지 하나의 플랫폼에서 해결할 수 있는 점이 핵심이었다”고 말했다.

LG유플러스 AICC 소개

LG유플러스의 AI 컨택센터(AICC)는 전국 17개 고객센터와 4000명 이상의 상담사, 9000명 이상의 매장 직원을 지원하는 대규모 AI 고객 서비스 플랫폼이다. 상담코드 자동 추천, 상담 요약, 실시간 지식 추천, AI 기반 상담 평가, 생성형 AI 기반 Agentic콜봇 서비스 등을 통해 제조, 유통, 서비스, 의료, 교육 등 다양한 업종에 완결형 AI 상담을 제공한다.

어라이즈코리아 소개

Arize AI는 신뢰할 수 있고 투명한 인공지능(AI)의 구현을 목표로 설립된 기업이다. AI가 점점 많아지고, 복잡해지고 강력해짐에 따라, 이를 어떻게 감시하고 평가하며 개선할 것인지는 모든 AI 팀이 직면한 핵심 과제가 됐다. Arize AI는 이러한 문제를 해결하기 위해 AI 모델의 관측 가능성(observability)과 평가, 가드레일과 같은 AI 거버넌스 기능을 제공한다.