[로이슈 심준보 기자] LG유플러스가 AI 모델 운영과 추론 과정을 최적화해 에이전트 운영 비용을 최대 90% 이상 낮추는 기술을 바탕으로 내년 기업간거래(B2B) 시장에 진출한다고 13일 밝혔다.

LG유플러스에 따르면 회사는 12일 ‘AI 토큰 최적화 기자 스터디’를 열고 상용 서비스에서 검증한 비용 절감 기술과 연구 성과, 사업 추진 계획을 공개했다. 해당 기술은 AI 통화 서비스 익시오와 인공지능 컨택센터(AICC), 사내 업무 혁신(AX) 등에 적용돼 왔으며, 내년부터 기업 고객의 AI 운영 비용을 낮추는 사업에 활용될 예정이다.

LG유플러스는 고성능 모델과 경량 모델을 업무 특성에 따라 배분하는 모델 라우팅을 통해 일반 질의 처리 비용을 25% 이상, 코딩 에이전트 비용을 30% 이상 줄였다고 설명했다. 별도 기술 검증에서는 자체 AI 모델을 활용해 코딩 분야 운영 비용을 통상적인 모델 대비 약 90% 절감하고, 동일 인프라의 연산 처리 효율을 최대 4배 높인 사례도 확인했다.

모델 경량화와 추론 기술도 고도화하고 있다. 자체 온디바이스 AI 모델의 크기를 기존 2.4~3GB에서 약 800MB로 줄이면서 비교 대상 클라우드 모델 대비 95% 이상의 성능을 확보했으며, 작은 모델이 답변을 생성하고 큰 모델이 검증하는 방식 등을 통해 토큰 생성 속도를 2배 이상 높였다. 관련 연구 논문 2편은 세계 AI 학술대회인 뉴립스(NeurIPS)에 채택됐다.

이상엽 LG유플러스 CTO는 “AI 시장의 경쟁력은 고객이 원하는 비즈니스 결과를 얼마나 정교하고 경제적으로 완수하느냐에 달렸다”며 “실제 서비스에서 검증한 운영 노하우와 모델 경량화·추론 기술을 결합해 내년부터 기업 고객의 AI 비용 부담을 낮추겠다”고 말했다.

심준보 로이슈(lawissue) 기자 xzvc@lawissue.co.kr