[로이슈 심준보 기자] BC카드가 AI 모델 경량화 기술을 개발해 처리 속도를 3배 높이면서 성능은 99% 유지했다고 19일 밝혔다.

BC카드에 따르면 모델 구성 숫자의 정밀도를 16비트에서 4비트로 낮춘 '양자화' 기술을 적용했다. 310억 파라미터 모델의 용량이 62.5GB에서 19.5GB로 69% 감소했다. 동일 GPU 환경에서 한국어 처리량은 초당 205토큰에서 530토큰으로 증가했고, 평균 응답 시간은 24초에서 9초로 단축됐다.

이 모델은 과학기술정보통신부의 'K-AI 리더보드'에 등재됐으며, 4비트 양자화 모델 중 유일하다. BC카드는 경량화 과정에서 성능 저하를 막기 위한 기술 2건의 특허 출원을 진행 중이다. 7월부터 금융 특화 생성형 AI 'BCGPT'와 'MOAI'에 경량화 모델을 적용했으며, 일반 PC급 GPU도 사용 가능해 중소기업과 스타트업도 도입할 수 있다.

오성수 BC카드 상무는 "AI 성능을 유지하면서 비용과 속도를 함께 개선하는 것이 업무 활용의 핵심"이라고 말했다.

심준보 로이슈(lawissue) 기자 xzvc@lawissue.co.kr