[로이슈 전여송 기자] 서울아산병원은 융합의학과 김남국 교수·남유진 연구원과 삼성창원병원 영상의학과 홍파 교수 연구팀이 생성형 인공지능(AI) 기반 의료 교육 콘텐츠 제작 시스템을 개발하고 교육자료의 오류를 분석한 연구 결과를 발표했다고 밝혔다.

연구팀은 총 6단계로 구성된 생성형 AI 기반 교육 콘텐츠 제작 시스템을 활용해 영상의학 전문의 시험 대비 플래시카드 6000개와 인포그래픽 833개를 제작했다.

연구팀은 다른 의료 분야의 오류 기준을 참고해 자체 품질검증을 통과한 교육자료의 허용 가능한 오류 비율을 0.3% 이하로 설정했다. 자료 1000개당 중대한 오류가 3개 미만이어야 한다는 기준이다.

이 가운데 플래시카드 1284개를 대상으로 영상의학 전공의 9명과 전문의 11명 등 의료진 20명이 사실 정확성과 교육적 적절성, 오류 여부 등을 평가했다.

분석 결과 AI 자동검증을 통과한 자료에서도 약 1.0%의 오류가 확인됐다. 연구팀이 사전에 설정한 0.3% 이하의 기준보다 높은 수준이다.

연구팀은 생성형 AI를 이용해 의료 교육 콘텐츠를 대량으로 제작할 수 있지만, 생성부터 배포까지 전 과정을 자동화하기보다는 전문가가 최종 검증에 참여하는 ‘휴먼 인 더 루프(Human-in-the-loop)’ 방식이 필요하다고 설명했다.

AI가 제시한 피드백을 평가자에게 함께 제공했을 때는 평가자들이 더 많은 오류를 찾아내고 교육자료의 품질을 보다 엄격하게 평가하는 경향도 나타났다. 연구팀은 전문가의 지식과 AI의 판단이 상충하는 상황에서 평가자가 내용을 다시 검토하는 과정이 오류 탐지에 영향을 미친 것으로 분석했다.

김남국 서울아산병원 융합의학과 교수는 “사용 빈도가 높아진 생성형 AI를 실제 교육 현장에서 안전하게 활용하기 위해서는 전문가의 검증이 반드시 필요하다는 점을 대규모 연구를 통해 입증했다”며 “자동 검증이 놓치는 오류를 체계적으로 관리하고 안전 기준을 마련하는 연구를 지속해 의학 교육 현장에서 안심하고 활용할 수 있는 생성형 AI 환경을 구축할 필요가 있다”고 말했다.

이번 연구 결과는 국제학술지 ‘npj Digital Medicine’에 게재됐다.

전여송 로이슈(lawissue) 기자 arrive71@lawissue.co.kr