[로이슈 심준보 기자] KT와 고려대가 한국 문화를 반영한 멀티모달 AI 안전성 평가 벤치마크 'KSAFE-MM'을 공개했다고 16일 밝혔다.

벤치마크는 글로벌 리스크를 한국 맥락으로 변환한 'KSAFE-MM-G'와 전세 사기·독도 분쟁 같은 한국 사회 고유 이슈를 포함한 'KSAFE-MM-C'로 구성됐다. 총 1만 4,135개 샘플로 국내 최대 규모이며 Gemma, HyperCLOVA X 등 12개 멀티모달 대형언어모델을 검증했다.

특징은 자동화 파이프라인이다. 기존 벤치마크는 수동 검수에 의존해 비용이 높지만 이번 벤치마크는 민감 주제 수집부터 쿼리 생성, 합성 이미지 생성, 탈옥 쿼리 생성까지 4단계 자동화 프로세스를 구현했다. 동일 파이프라인을 일본어에 적용한 파일럿을 통해 다른 문화권에도 즉시 적용 가능함을 확인했다.

벤치마크는 AI 서비스 안전성 검증과 레드팀 테스트에 활용될 수 있다. 연구결과는 arXiv와 Hugging Face에 공개되며 누구나 활용 가능하다.

박재형 KT Frontier AI Lab장은 "벤치마크 공개를 통해 AI 안전성 연구 생태계 발전의 기반을 제공하고자 한다"고 말했다.

심준보 로이슈(lawissue) 기자 xzvc@lawissue.co.kr