최근 인공지능(AI)이 의사국가시험을 활용한 성능평가에서 잇따라 최고 수준 성적을 기록하며 존재감을 드러내고 있어 주목된다.

의대생들 실기시험 연습·평가 등 실제 국시 준비 과정에서도 AI 활용 사례가 등장했다.

업계에 따르면 아크릴 보건의료 특화 AI 모델 ‘아름.H2 프랭크’가 최근 한국 보건의료인 국가시험 기반 공개 벤치마크 ‘KorMedMCQA’에서 의사시험 435문항 만점을 기록했다.

아름.H2 프랭크는 의사·치과의사·약사·간호사 등 4개 직역 총 3009개 문항 가운데 2980개 문항을 맞혀 합계 정답률 99%를 달성했다. 

이번 테스트는 총 3009문항을 대상으로 동일 문항·프롬프트·채점 방식으로 진행됐다. 각 문항은 5회 응답한 뒤 다수결로 최종 답변을 결정했다. 

의사시험은 별도 3회 독립 측정에서 두 차례 전 문항 정답, 한 차례 434문항 정답을 기록했다는 설명이다. 

특히 아크릴은 자체 측정 결과, 글로벌 AI 모델보다도 높은 점수를 기록했다는 점을 내세웠다. 

동일한 3009개 문항·프롬프트·채점 방식에서 구글 ‘제미나이 3.1 프로’는 2959개 문항, 앤트로픽 ‘클로드 오퍼스 5’는 2952개 문항, 오픈AI ‘GPT-5’는 2871개 문항을 맞혔다.

앞서 국내 병원이 개발한 의료 특화 AI 역시 의사 국시 기반 평가에서 높은 성적을 기록한 바 있다.

지난 7월 삼성서울병원 연구팀이 AI 전문기업 제로원에이아이와 개발한 의료특화 AI ‘지오메드 2’는 한국 의사 국가고시(KMLE) 기반 벤치마크에서 97.7점을 기록했다. 

미국 의사면허시험(MedQA-USMLE)에서도 94.8점을 기록하며 당시 경쟁 모델 가운데 가장 높은 점수를 얻었다.

두 제품 모두 성능이 입증된 만큼 진료와 임상뿐 아니라 연구, 원무·행정 등 실제 의료현장에 적용하기 위한 성능 고도화 및 상용화를 준비하고 있다.

의사국가시험 준비에도 AI…가상 환자부터 실기 평가까지

AI 활용은 국가시험 문제를 통한 성능평가뿐 아니라 실제 학생들 시험 준비 과정으로도 확대되고 있다.

연세의대 연구팀은 지난달 의사국가시험 실기시험을 준비하는 졸업생들을 위한 음성 기반 AI 모의 진료 플랫폼 ‘CPX-MATE’를 개발했다고 발표했다.

CPX-MATE는 학생이 AI와 직접 대화하며 혼자 연습할 수 있도록 AI가 가상 표준화 환자 역할을 한다. 학생끼리 역할극을 할 때는 대화를 듣고 채점과 피드백을 제공하는 평가자 기능도 갖췄다.

실제 국시를 준비하는 학생들의 활용도 이뤄졌다. 연구에 참여한 연세의대 학생 43명 가운데 42명이 자발적으로 CPX-MATE를 사용했으며 전원 의사 국가시험에 합격했다.

이들은 시험 준비 2개월 동안 총 3042회, 누적 745.1시간 플랫폼을 이용했다. 1인당 평균 사용 횟수는 66.5회, 사용 시간은 16시간이었다.

특히 반복 학습의 효과가 높은 것으로 나타났다. 동일한 증상의 환자 사례로 두 차례 모의시험을 치른 결과, 학생들의 두 번째 성적은 첫 번째보다 평균 1.67점 높았다.

연구팀은 향후 CPX-MATE의 성능 고도화를 거쳐 수험생들의 시험 준비를 지속 지원할 계획이다. 

유승찬 연세의대 교수는 “이번에 개발한 AI 플랫폼 CPX-MATE를 2026년 92차 의사 국가고시를 앞둔 전국의 모든 수험생에게 무료로 제공할 예정”이라고 밝혔다.