- 기존의 정적인 진단 중심 AI 평가를 넘어, 실제 임상 현장의 파급 효과 반영하는 '동적 평가' 제시

- '환자 예후'와 '병원 운영 효율성' 동시에 측정하는 이중 지표 접근법으로 의료 AI 상용화 청사진 마련

▲ 임상 환경 시뮬레이터(CES) 작동 패러다임. 가상 병원 내 의료 AI의 결정이 ‘환자 예후’와 ‘병원 운영 효율성’에 미치는 파급 효과를 동시에 평가하는 모습

▲ 서울대병원 특화연구소 김성은 연구교수

     과거 데이터로 필기시험만 치르던 단편적인 의료 AI 평가를 벗어나, 실제 임상 현장과 똑같은 가상 병원에서 AI를 실전 검증하는 모델이 세계 최초로 발표됐다. AI의 처방이 환자 악화나 자원 고갈에 미치는 연쇄 파급 효과를 사전에 검증해, 실제 환자의 위험 없이 AI의 안전성을 철저히 시험할 전임상 관문이 열린 것이다.

서울대병원 특화연구소 김성은 연구교수와 하버드 의대 공동 연구팀은 14일 거대언어모델(LLM) 기반 의료 AI를 동적으로 평가하는 ‘임상 환경 시뮬레이터(Clinical Environment Simulator, CES)’를 발표했다. 이 디지털 가상 병원 평가 체계 연구는 국제 학술지 ‘네이처 메디슨(Nature Medicine, IF 50)’ 최신 온라인판에 게재됐다.

기존 의료 AI 평가는 과거의 정적인 데이터에 의존한 탓에, 현장에서 의사의 결정이 미치는 연쇄적 파급 효과를 반영하지 못했다. 환자의 상태는 시시각각 변하고 처방은 곧 병원의 제한된 자원 소모로 직결되지만, 기존 방식으로는 이러한 시간적·시스템적 상호의존성을 평가할 수 없었기 때문이다. 이에 연구팀은 조종사가 비행 시뮬레이터에서 훈련받듯, 의료 AI 역시 시간 흐름과 자원 제약 속에서 대처 능력을 평가받아야 한다고 분석했다.

이를 구현하기 위해 연구팀은 두 가지 핵심 엔진을 동기화했다. 먼저 ‘환자 엔진’은 전문의가 정의한 질병 궤적 템플릿과 실제 전자의무기록의 환자 초기 데이터를 바탕으로, LLM이 증상과 치료 반응의 다양한 가상 경로를 동적으로 생성해 환자의 상태 변화를 모사한다.

이와 맞물린 ‘병원 엔진’은 실제 병원의 시간 데이터를 바탕으로 현장의 단계별 업무 흐름을 그대로 재현해 병상, 의료진, 장비 상태를 실시간으로 추적한다. 혈액 검사 지시가 내려지면 실제 소요 시간에 맞춰 단계별로 필요한 의료 인력이 순차적으로 배정되고, 초응급 환자에게 자원을 우선 할당하는 우선순위 체계까지 완벽하게 구현됐다.

▲ 시간에 따른 동적 환자 상태 변화. 의료 AI의 개입 시점에 따라 중증 환자의 예후가 세 가지 경로(초록색: 안정화, 파란색 및 주황색: 상태 악화)로 갈라지는 파급 효과 시뮬레이션

이 가상 병원에서는 AI의 개입 시점에 따라 위기 상황이 생생하게 구현된다. 가령 AI가 검사 처방을 지연시킬 경우 안정적이던 흉통 환자가 급성 심근경색으로 악화될 수 있다. 또한 AI가 특정 초응급 환자에게 CT 스캐너 등 핵심 자원을 우선 할당하면, 다른 환자들의 대기열이 길어지는 현실적인 병목 현상도 발생한다. AI의 결정 하나가 특정 환자의 생사를 가르는 것은 물론, 병원의 남은 자원마저 고갈시켜 다음 환자의 진료 기회를 연쇄적으로 제한하는 실제 병원 환경을 구현한 것이다.

AI가 내린 모든 결정은 ▲환자 예후(생존 여부, 치료 소요 시간, 가이드라인 준수도) ▲병원 운영 효율성(총 입원 기간, 응급실 처리량, 병상 및 장비 활용도)이라는 두 축을 합친 ‘이중 지표 복합 점수’로 평가된다. 병원 시스템을 훼손하지 않으면서 치료를 개선하면 보상이 주어지지만, 특정 환자에게만 자원을 과도하게 집중해 다른 환자들의 진료 기회를 희생시키면 벌점이 부여되는 엄격한 균형을 요구한다. 나아가 전산망 마비나 다발성 응급 환자 발생 등 극한 상황의 적대적 스트레스 테스트도 진행한다.

이번 연구의 핵심 의의는 환자를 위험에 노출시키지 않고 시스템의 안전성을 입증하는 ‘무위험 전임상 테스트 환경’을 제공한다는 데 있다. 이처럼 철저한 검증을 거친 AI가 의료진의 디지털 대리인이 되어 복잡한 시스템 실무를 전담하게 되면, 의사는 비로소 모니터에서 눈을 떼고 환자 곁으로 돌아가 공감과 판단이라는 의사 본연의 역할에 온전히 집중할 수 있을 전망이다.

▲ 기존 의료 AI 평가 모델과 가상 병원 시뮬레이터(CES)의 성능 비교. CES는 기존 방식을 확장해 ▲시간에 따른 환자 상태 변화 ▲실시간 병원 자원 추적 ▲위기 상황 스트레스 테스트라는 세 가지 핵심 차원을 모두 충족하는 유일한 평가 체계다.

김성은 연구교수(공동 제1저자)는 “가상 병원이 인체의 복잡한 생리적 반응을 완벽히 예측할 수는 없다”면서도 “이번 연구는 의료 AI가 단편적인 문제를 푸는 도구를 넘어, 역동적인 의료 체계 내에 완전하게 통합돼 실제적인 도움을 주도록 검증하는 가장 가치 있는 다음 단계가 될 것”이라고 강조했다.