[로이슈 편도욱 기자] 세금 환급 플랫폼 삼쩜삼을 운영하는 자비스앤빌런즈가 사내 인공지능(AI) 에이전트를 통합 관리하는 플랫폼 ‘카터(Carter)’를 구축했다. AI 모델별 역할을 나누고 반복 요청 처리 방식을 개선해 거대언어모델(LLM) 호출 비용을 줄였으며, 개인정보 보호와 보안 기능도 공통 체계로 관리한다.

카터는 AI 에이전트 개발과 운영에 필요한 비용을 모니터링하고 보안·개인정보 보호 기능을 통합 제공하는 플랫폼이다. 개별 에이전트마다 인프라와 기능을 따로 구축하는 대신 공통 라이브러리와 시스템을 활용하도록 설계됐다. 현재 삼쩜삼Q와 삼쩜삼 앱의 AI 에이전트 등 8개 에이전트가 카터를 통해 운영되고 있다.

비용 절감에는 모델 티어링과 프롬프트 캐싱 기술이 활용됐다. 모델 티어링은 답변 생성에는 고성능 모델을 사용하고 의도 분류나 안전성 판정 등 보조 작업에는 경량 모델을 적용하는 방식이다. 이를 통해 전체 AI 호출의 약 50%를 경량 모델로 처리하면서 LLM 호출 비용을 약 45% 줄였다.

반복되는 프롬프트를 저장해 재사용하는 프롬프트 캐싱도 적용했다. 회사는 캐시가 재사용되는 구간에서 호출 비용이 약 43% 감소했다고 밝혔다. 검색 절차를 간소화하고 클라우드 간 자동 장애 전환 체계도 마련해 서비스 안정성을 관리하고 있다.

보안 측면에서는 카터를 거치는 AI 호출을 중앙에서 추적하고, 개인정보 자동 비식별화와 프롬프트 인젝션 공격 차단 기능을 공통 적용했다. 이를 통해 개별 에이전트마다 보안 기능을 별도로 구축하는 부담을 줄이고 관리 체계를 일원화했다.

자비스앤빌런즈는 사내 지식 자산을 한곳에서 검색하고 질의할 수 있는 ‘지식 오케스트레이터’와 AI 답변 품질을 정량적으로 평가하는 체계도 구축하고 있다. 비용 관리뿐 아니라 답변의 정확성과 신뢰도를 지속적으로 점검하는 방향이다.

강병규 자비스앤빌런즈 최고기술책임자(CTO)는 카터를 통해 AI 운영 효율과 보안 관리 체계를 통합했으며, 비용 절감과 함께 답변 품질을 측정·관리하는 기반을 마련했다고 설명했다.

편도욱 로이슈 기자 toy1000@hanmail.net