
의료 인공지능(AI)의 높은 성능평가 점수만으로 실제 의료현장에서 신뢰성을 판단하기 어렵다는 연구결과가 국내외에서 나오고 있다.
고대구로병원 이유락 연구원과 정현강 교수, 서울과학기술대 최현수 교수 공동연구팀은 최근 국제학술지 ‘사이언티픽 리포트’에 영상 속 자해 행동을 판별하는 AI 평가방식을 수정하자 성능이 크게 달라졌다는 연구 결과를 발표했다.
연구팀은 성인 7명이 연기한 자해 행동과 일반 행동 영상 5183개를 활용했다. 영상에서 여러 장의 정지화면(프레임)을 추출하고, 네 종류 AI가 이를 분석해 설명문을 작성토록 했다. 이후 별도 분류기가 설명문을 바탕으로 자해 행동 여부를 판별했다.
다만 기존 평가에서는 자해 행동과 일반 행동 영상에 서로 다른 처리기준을 적용했다. 일반 행동 영상에서 자해 행동으로 잘못 판단할 수 있는 부분을 줄이기 위해 앞뒤를 각각 2초씩 잘라낸 반면, 자해 행동 영상은 그대로 사용했다.
이 때문에 최종 분석에 사용된 프레임은 자해 행동 영상에서 평균 7.9개, 일반 행동 영상에서 4.55개로 달랐다. 또한 영상에서 프레임을 추출한 지점과 AI가 설명문을 작성할 때 사용한 지시문에도 차이가 있었다.
그 결과, 기존 방식에서 AI를 활용한 판별시스템의 판별력(AUC)은 0.89~0.99로 높게 나타났다.
하지만 연구진이 두 종류 영상 모두 앞뒤를 자르지 않고 같은 기준으로 프레임을 추출해 다시 평가하자 판별력은 0.53~0.65로 크게 낮아졌다.
나아가 연구진은 AI 높은 평가점수가 실제 자해 행동을 구분한 결과인지 확인하기 위해 추가 실험을 진행했다.
AI가 작성한 영상 설명문에서 어떤 행동을 했는지는 살펴보지 않고, 단어 수와 글자 수 등 8가지 특징만으로 자해 여부를 판단하도록 했다. 그런데도 기존 평가점수의 83~95%에 달하는 결과가 나왔다.
이는 실제 행동에 관한 설명을 읽지 않고도 글의 길이와 형식만으로 상당히 높은 점수를 얻을 수 있다는 의미다.
연구팀은 “높은 성능평가 점수만으로 임상적 신뢰성이 입증되는 것은 아니”라고 강조했다.
의료기관 도입 이후에도 지속적인 점검 중요
실제 의료기관에 도입한 AI에서도 검증 당시와 다른 성능이 나타난 사례가 보고됐다.
러시아 알마조프 국립의학연구센터와 ITMO대학 소속 게오르기 코파니차 연구자는 지난 7월 국제학술지 ‘PLOS 디지털 헬스’에 한 대형 의료기관 조직에서 운영한 AI 시스템 4개 성능을 18~24개월간 분석한 결과를 발표했다.
연구 대상은 입원환자 상태 악화와 패혈증 위험 예측, 외래 진단지원, 영상검사 기반 위험 예측 등에 활용되는 AI였다.
이들 AI의 도입 전 판별력은 0.80~0.86이었지만, 도입 6개월 이후 운영기간에는 0.75~0.82로 낮아졌다. 모델 자체를 변경하지 않았는데도 시간이 지나면서 예측 성능에 차이가 나타난 것이다.
특히 일부 AI는 위험한 환자를 구분하는 능력이 비교적 유지됐지만, 환자 위험도를 얼마나 정확하게 예측하는지는 점차 부정확해진 것으로 나타났다.
환자정보 누락이나 검사결과 전달 지연 등 병원의 정보처리 과정도 성능 변화와 관련된 것으로 분석됐다.
이와 관련해 국내에서도 의료AI 성능평가 기준을 실제 환자 치료 효과까지 확대해야 한다는 제언이 나왔다.
연세암병원 홍채선 교수와 온코소프트 조원영 연구원은 최근 국제학술지 ‘아티피셜 인텔리전스 인 메디슨’에 발표한 논평에서 AI 높은 정확도가 실제 환자에게 도움이 된다는 의미는 아니라고 지적했다.
이들은 2024년 발표된 연구를 인용해 의료 AI 관련 무작위 임상시험 86건 중 환자 증상이나 행동을 주요 평가항목으로 삼은 연구는 15건(17%)에 불과했다.
연구진은 “의료적 결정을 대신 내리거나 임상적 효과를 내세우는 AI는 널리 도입하기 전에 실제 환자 치료 결과가 개선된다는 근거를 제시해야 한다”며 “AI가 맡는 역할과 잘못 판단했을 때의 위험에 따라 검증 수준도 달라져야 한다”고 밝혔다.
이어 “과거 자료를 이용한 성능 검증은 의료 AI 도입을 결정하는 데 필요한 과정이지만, 그것만으로는 충분하지 않다”고 강조했다.
??
(AI) .
, ‘ ’ AI .
7 5183 . () , AI . .
. 2 , .
7.9, 4.55 . AI .
, AI (AUC) 0.89~0.99 .
0.53~0.65 .
AI .
AI , 8 . 83~95% .
.
“ ” .
AI .
ITMO 7 ‘PLOS ’ AI 4 18~24 .
, , AI.
AI 0.80~0.86, 6 0.75~0.82 . .
AI , .
.
AI .
‘ ’ AI .
2024 AI 86 15(17%) .
“ AI ” “AI ” .
“ AI , ” .