SKT와 엔비디아, 리벨리온이 업무협약(MOU)을 체결하고 있는 모습.(왼쪽부터) 박성현 리벨리온 대표, 정석근 SKT CTO 겸 AI CIC장, 아쉬시 카란디카르 엔비디아 NVLink Fusion 부문 부사장. 사진=SK텔레콤
이미지 확대보기
SK텔레콤이 엔비디아, 리벨리온과 손잡고 GPU와 NPU를 결합한 한국형 소버린 AI 인프라 개발에 나선다고 9일 밝혔다.
SK텔레콤에 따르면 3사는 이날 서울 코엑스에서 열린 'NVIDIA AI Day Seoul'에서 GPU·NPU 통합 시스템 개발과 검증을 위한 업무협약을 체결했다. 엔비디아의 NVLink Fusion 기술로 리벨리온의 NPU 'Rebel R200'을 연결하고, 엔비디아의 서버 랙 설계 규격인 MGX를 적용해 랙 단위 통합 시스템을 구축할 계획이다.
핵심은 질문 분석과 답변 생성을 서로 다른 반도체에 맡기는 '분리형 추론' 방식이다. 질문을 분석하는 프리필 단계는 연산 성능이 높은 엔비디아 GPU가 담당하고, 답변을 순차적으로 생성하는 디코드 단계는 메모리 접근 효율이 중요한 리벨리온 NPU가 처리한다. 이를 통해 AI 추론 속도와 전력 효율을 높이는 것이 목표다.
SK텔레콤은 AI 데이터센터 구축·운영 경험을 활용해 통합 시스템의 성능과 안정성을 검증하고 실제 서비스 적용 가능성을 살펴볼 예정이다. 독자 AI 모델 'A.X K2'와 대국민 AI 서비스 '모두의 AI'에도 연계해 인프라부터 모델, 서비스까지 아우르는 소버린 AI 체계를 강화한다는 구상이다.
정석근 SK텔레콤 CTO 겸 AI CIC장은 "엔비디아 GPU와 리벨리온 NPU의 강점을 결합해 추론 성능과 전력 효율을 높일 수 있는 한국형 소버린 AI 인프라의 가능성을 검증하는 데 의미가 있다"며 "공공과 민간이 활용할 수 있는 소버린 AI 인프라 생태계를 구축하겠다"고 말했다.
심준보 로이슈(lawissue) 기자 xzvc@lawissue.co.kr
