`평가가 학습을 결정한다.'라는 George E. Miller(1919∼1998)의 말은 많은 것을 시사한다. 시험이 없는데 학생들이 얼마나 열심히 공부하겠는가를 생각해보면 평가가 학생들에게 학습에 대한 동기를 유발한다는 것은 틀림없는 사실일 것이다.

그 뿐만이 아니다. 평가는 학생들의 학습 내용과 학습 방법을 결정한다. 지엽적인 문제를 많이 출제하면 지엽적인 공부를 많이 할 수 밖에 없고, 암기위주의 문제를 많이 출제하면 암기위주의 공부를 많이 할 수 밖에 없다. 결국 평가가 학생 교육을 좌우한다고 해도 과언이 아닐 것이다.

좋은 평가 도구가 갖추어야할 조건은 다음과 같이 정리할 수 있다. △첫째, 타당성이 있어야 한다. △둘째, 신뢰성이 있어야 한다. △셋째, 적용가능성이 있어야 한다.

타당성이란 꼭 평가해야 하는 내용을 평가하고 있는가를 의미한다. 타당성을 높이기 위해서는 여러 분야에서 골고루, 중요한 핵심내용을 평가해야한다. 특히 의학교육에서 타당성을 확보하기 위해서는 의사가 실제 수행해야 하는 업무와 관련된 평가가 이루어져야 하며, 이를 위해 다양한 평가 도구를 활용하는 것이 바람직하다.

#타당성, 신뢰성, 적용가능성 갖춰야

신뢰성이란 반복하여 평가했을 때 같은 결과를 얻을 수 있는지에 관한 것이다. 신뢰성을 높이기 위해서는 시험시간을 충분히 주어야하며, 일정한 문제 형식과 적절한 난이도를 유지해야한다.

적용가능성은 평가에 소요되는 비용이 적절한지 또는 평가하는 사람이나 평가받는 학생이 받아들일 수 있는지에 관한 것이다. 아무리 좋은 평가 도구라고 할지라도 현실적으로 수용가능하지 않다면 많은 진통을 격을 수밖에 없다.

서두에 언급했던 George Miller는 임상 능력을 평가하는데 네 가지 단계가 있음을 제안하였다. △첫째는 `알고 있는가?(Knows)'를 평가하는 단계로 단순 지식에 대한 평가이다. △둘째는 `어떻게 하는지를 알고 있는가?(Knows how)'를 평가하는 단계로 개념형성과 이해에 대한 평가이다. △셋째는 `어떻게 하는지를 보여줄 수 있는가?(Shows how)'를 평가하는 단계로 수행능력에 대한 평가이다. △넷째는 `실제 할 수 있는가?(Does)'를 평가하는 단계이다.

대부분의 의과대학에서 유일하게 의존하고 있는 평가 도구인 필기시험은 처음 두 단계인 `Knows'와 `Knows how'만을 평가할 수 있는 도구이다. `Shows how'를 평가하기 위해서는 소위 OSCE (Objective Structured Clinical Examination)나 CPX (Clinical Performance Examination)와 같은 평가도구가 필요하며 `Does'를 평가하기 위해서는 mini-CEX (Mini-Clinical Evaluation Exercise)나 DOPS (Direct Observation of Procedural Skills)와 같은 평가도구가 필요하다.

#실기시험 도입, 의학교육 전환점

그런 의미에서 2010년부터 의사국시에 OSCE와 CPX를 도입한다는 것은 매우 고무적인 일이 아닐 수 없다. 현재까지 평가할 수 없었던 `Shows how'를 평가할 수 있기 때문이다. 서울대학교병원이 인턴선발시험에 수기시험을 추가한 후 서울대학교병원에서 인턴을 하려고 하는 의대생들의 임상 수기에 대한 관심이 대폭 증가하는 것을 필자는 경험한 적이 있다. 미루어 짐작컨대 의사국시에 실기시험이 도입되면 전국의과대학의 교육이 크게 변화할 것이다. 특히 임상실습 교육에 긍정적인 큰 변화가 올 것으로 기대한다.

혹자는 `의사 자격증 따기 점점 힘들어지기 때문에 의대는 빨리 졸업하고 볼 일이다.'라고 이야기한다. 하지만 비단 의대생 뿐 아니라 일부 과목의 전문의 시험에도 `표준화환자(standardized patients)'라고 불리우는 모의환자를 이용한 임상수행능력시험(CPX)이 도입되고 있고, 앞으로 의사의 질 관리를 위해서 이러한 새로운 평가도구들의 활용이 점차 확대될 것으로 예측된다. 그렇기 때문에 앞에서 언급한 몇 가지 임상능력 평가도구에 대해서 간단히 소개하고자 한다.

#Mini-CEX, 피드백 제공 신뢰 확보

OSCE(Objective Structured Clinical Examination)란 5∼10분 동안 병력청취나 신체검진과 같은 특정 임상 업무를 시행하게 하고 체크리스트를 가지고 채점을 하는 평가 방법이다. 교육 목적에 따라 적절히 변형할 수 있고 신뢰성이 높다는 장점이 있지만 시간 제한 등 인위적인 측면이 있고 비용이 많이 든다는 제한점이 있다.

CPX(Clinical Performance Examination)는 하나의 시험방 길이가 10∼20분 정도로 OSCE보다 길고, `표준화환자'를 대상으로 실제 진료하는 상황을 연출하여 임상진료 전반에 걸친 능력을 평가한다. OSCE보다 더 현실감이 있고 표준화환자가 채점 가능하다는 장점이 있지만 표준화환자 훈련을 위한 노력이 필요하고 실행 비용이 많이 든다.

Mini-CEX(Mini-Clinical Evaluation Exercise)는 1990년대에 미국내과전문의협회(American Board of Internal Medicine)에서 레지던트의 임상 능력을 평가하기 위해 개발한 평가도구이다. 평가자는 수련의나 학생의 실제 환자 진료를 관찰한 후 면담기술, 신체진찰기술, 임상결정능력 등등의 항목에 각각 1점에서 9점까지 점수를 매기고 수련의나 학생에게 필요한 피드백을 해준다. 총 15∼25분의 시간이 걸리며 이러한 만남을 4∼6회 가지면 평가로서의 신뢰성을 확보할 수 있다.

DOPS(Direct Observation of Procedural Skills)는 mini-CEX와 흡사하나 임상수기를 시행하는 능력에 초점을 맞춘 것이다. 영국의 국가보건서비스(NHS, National Health Service)에서는 mini-CEX와 DOPS를 수련의에 대한 필수적인 평가도구로 사용 중이며, 홈페이지(www.mmc.nhs.uk/pages/assessment)에서 관련 정보 및 동영상을 볼 수 있다.







박완범 <서울의대 의학교육실>

의사신문 다른기사 보기