퍼즐에이아이가 지난 9월 17일부터 19일까지 서울 코엑스에서 진행된 'K-Hospital Fair 2025'에서 공개한 ‘핸즈프리 의무기록 솔루션’은 AR(증강현실) 안경과 AI(인공지능) 기술을 결합해 음성 기반 의료 기록 자동화를 시도한 사례다. 수술실처럼 손을 자유롭게 쓸 수 없는 환경을 겨냥해 음성 인식과 맥락 이해를 기반으로 진료 내용을 실시간으로 기록하고 EMR 시스템으로 전송하는 방식이다. 이번 박람회에는 257개 기업이 참가하고 478개 부스 규모로 운영됐으며 총 2만1024명의 참관객이 현장을 찾았다. 퍼즐에이아이 부스는 병원계에서 처음 선보이는 기술을 체험하려는 방문객들 발길이 이어졌으며 향후 의료현장 적용 및 확대 가능성의 시험무대가 됐다. [편집자주]



지난 9월 17일 오후 서울 코엑스 ‘K-Hospital Fair 2025’ 현장. 퍼즐에이아이 부스 앞은 ‘핸즈프리 의무기록 솔루션’을 체험하려는 관람객들로 북적였다.

특수 AR 안경을 착용한 한 참관객이 “저장”이라고 말하자 방금 나눈 대화가 디스플레이에 실시간으로 표시되고 요약돼 EMR(전자의무기록) 시스템으로 전송됐다. 손을 쓰지 않고 음성만으로 기록이 이뤄지는 장면에 현장 반응도 뜨거웠다.

퍼즐에이아이는 이번 박람회에서 AR-AI 에이전트 기반 의무기록 솔루션을 선보였다. 이 솔루션은 의료진이 손을 쓰지 않고도 환자와 나눈 대화를 기록하고 곧바로 EMR까지 전송할 수는 의무기록 장치다.

특히 수술실처럼 장갑과 마스크 착용으로 키보드 입력이 제한되는 환경에서 유용하며 실시간 대화 자막 표시, 음성 명령 기반 저장, 대화 요약 및 서식 자동 생성 기능 등을 통해 기록 정확도를 높이고 의료진 업무 부담을 줄일 수 있다.

단순 음성인식 기술을 넘어 화자 분리와 맥락 이해를 결합한 구조로 의료 데이터 신뢰성과 실용성을 동시에 확보했다는 점에서 주목받고 있다.

이날 현장에서 만난 김용식 대표는 "핸즈프리 의무기록 솔루션은 어떤 의료환경에서도 실시간 기록은 물론 기록시간 단축, 오류 감소, 진료 효율 향상에 기여할 수 있다. 이는 결국 의료진이 환자 진료에 더 집중할 수 있는 환경을 만든다"고 강조했다.

핸즈프리 의무기록을 구현하기 위한 마이크. 화자의 음성만을 따로 분리해 인식한다.

음성기록 표시되는 AR(증강현실) 안경. 화자의 말이 디스플레이에 표시되고 "저장"이라고 말하면 요약돼 EMR시스템으로 넘어간다.

퍼즐에이아이는 수술·시술 환경을 우선 겨냥했다. 장갑과 마스크 착용으로 키보드 입력이 어려운 상황에서 음성만으로 기록과 저장을 이어갈 수 있도록 AR 안경을 적용했다.

화면에는 자막처럼 대화가 표시되고, 의료진은 손을 떼지 않고도 내용을 확인하고 명령을 내릴 수 있다. 현재 시연 기기는 흑백 디스플레이지만 향후 컬러 전환도 계획하고 있다.

이번 솔루션 핵심은 단순 받아쓰기를 넘어선다는 점이다. 화자 분리와 맥락 이해를 통해 대화를 요약·정리하고, 필요한 의료 서식까지 자동으로 작성한다.

김 대표는 “잡음이 많은 의료 현장에서 단순 음성인식만으로는 한계가 크다”며 “정확한 기록과 생성까지 연결하는 구조가 강점”이라고 설명했다.

보안 측면에서도 온프레미스 LLM을 적용했다. 병원 내부망에서 모델을 운영해 데이터 외부 반출을 최소화할 수 있다는 설명이다. 

퍼즐에이아이는 향후 영상의학과, 외래 등 일부 영역에서 확인된 수요를 넘어 수술방 등 손을 쓸 수 없는 공간으로 적용을 확대할 방침이다. 

특히 오는 10월부터 분당서울대병원, 서울성모병원에 보급을 목표하고 있다.

외국인 참관객이 핸즈프리 의무기록 솔루션을 체험하고 있다. ⓒ구교윤 기자

김용식 퍼즐에이아이 대표 일문일답

― 이번 솔루션의 본질적 변화는 무엇인가. 왜 AR(증강현실)을 추진했나

환자와 나눈 말이 곧 기록이 되는 흐름을 구현했다. 대화가 안경 디스플레이에 실시간으로 뜨고 “저장”이라고 말하면 요약된 결과가 EMR로 전송된다. 진단서, 검사, 처방 제안도 에이전트가 보조한다. 수술·시술 환경은 장갑과 마스크 때문에 손을 쓸 수 없는데, AR(증강현실) 안경은 시야를 가리지 않으면서 즉시 확인과 명령이 가능하다.

― 단순 음성인식(STT)과 차별성은 무엇인가

의료 현장은 잡음과 특수 용어가 많아 단순 받아쓰기로는 활용하기 어렵다. 퍼즐에이아이는 화자 분리와 맥락 이해를 결합해 대화를 요약·정리하고, 필요한 서식까지 자동으로 작성할 수 있도록 했다. 기록 생성–정리–전송으로 이어지는 구조를 갖춘 것이 가장 큰 차별점이다.

― 실제 적용 가능성과 도입 계획은 어떻게 진행되고 있나

분당서울대병원과 서울성모병원 적용을 목표로 협의 중이다. 빠른 시일 내 임상 환경에서 검증을 시작하는 것이 목표다. 임상 검증을 통해 기술이 현장에서 얼마나 효과적인지 입증하는 것이 중요하다고 본다.

― 글로벌 진출과 시장 확장 전략은

국내 시장 안착과 함께 미국·유럽 등 해외 진출을 추진한다. 치과·한방 등 다양한 분야로의 확장도 가능하다고 판단한다. 해외 병원과 협업을 통해 신뢰를 확보하고, 글로벌 의료 AI 리더로 성장하는 것이 목표다.

― 이번 기술이 의료 현장에 가져올 변화는 무엇인가

무엇보다 의료진이 환자에게 더 집중할 수 있게 된다. 기록 시간이 줄고 오류와 누락이 감소하면 환자 안전성이 높아진다. 기술은 현장에서 실제로 쓰일 때 의미가 있다. 퍼즐에이아이는 AR과 AI 에이전트를 통해 의무기록 방식을 근본적으로 바꾸고, 나아가 글로벌 의료환경 개선에도 기여하겠다.

― 향후 비전은

핸즈프리 의무기록 솔루션은 어떤 의료환경에서도 실시간 기록과 함께 기록시간 단축, 오류 감소, 진료 효율 향상에 기여할 수 있다. 이번 전시를 계기로 국내뿐 아니라 미국, 유럽 등 해외 시장에도 본격 진출해서 치과, 한방 병의원 등 의료 전반으로 솔루션을 확장하고 글로벌 의료 인공지능(AI) 기업으로 도약할 계획이다.