생성형 인공지능(AI)이 의료교육 자료를 대량으로 만들 수 있지만, 오류를 걸러내기 위해서는 전문가의 최종 검증이 필요하다는 연구결과가 나왔다.

서울아산병원 융합의학과 김남국 교수·남유진 연구원과 삼성창원병원 영상의학과 홍파 교수는  AI 자동검증을 거친 교육자료의 오류 수준과 전문가 검증 필요성을 분석한 연구결과를 발표했다.

이번 연구에서 연구진은 총 6단계로 구성된 생성형 AI 기반 교육 콘텐츠 제작 시스템을 개발하고, 영상의학 전문의 시험 대비 플래시카드 6000개와 인포그래픽 833개를 제작했다. 

연구팀은 자체 품질검증을 통과한 교육자료라면 안전하게 활용할 수 있을 것으로 보고, 다른 의료분야의 오류 기준을 참고해 허용 가능한 오류 비율을 0.3% 이하로 엄격하게 설정했다. 

이 가운데 1284개의 플래시카드를 대상으로 총 20명의 의료진이 사실 정확성, 교육 적절성, 오류 여부 등을 평가한 결과, AI 자동검증을 1차로 통과한 자료에서도 약 1.0%의 오류가 발견됐다.

이는 연구팀이 미리 설정한 안전 기준을 웃도는 결과였다.

이번 연구는 생성형 AI가 의료 교육 콘텐츠를 대량 생산할 수 있다는 가능성을 보여주는 동시에 전면적인 자동화 보다 전문가가 개입해 마지막 검증을 수행하는 게 중요하다는 점을 입증했다.

연구팀은 ‘휴먼 인 더 루프(Human-in-the-loop)’ 체계가 안전한 의료 AI 활용의 핵심이라는 점을 강조했다.

또한 AI가 제시한 피드백을 평가자에게 함께 제공했을 때 평가자들이 더 많은 오류를 발견하고 교육 품질도 더욱 엄격하게 평가하는 경향을 보였다. 

연구팀은 평가자들이 자신의 전문지식과 AI의 피드백이 상충할 때 AI의 판단을 그대로 수용하기보다 비판적으로 재검토하며 오류 탐지 능력이 향상됐기 때문이라고 판단했다. 

따라서 현재 수준의 생성형 AI를 활용할 때엔 완전히 자동화된 의료교육 콘텐츠 제작보다는 전문가가 최종 검증하는 체계가 반드시 필요하다고 분석했다.

김남국 교수는 “사용 빈도가 높아진 생성형 AI를 실제 교육 현장에서 안전하게 활용하기 위해서는 전문가 검증이 반드시 필요하다는 점을 대규모 연구를 통해 입증했다”고 밝혔다.

한편, 이번 연구결과는 국제학술지 ‘네이처 파트너 저널 디지털 메디신’에 최근 게재됐다.