보건의료직종별 SBT 국가시험체제에 대한 타당성 연구†
Study on validity of the National Examination based on smart device based test(SBT) by 7 types of healthcare occupation†
Article information
Trans Abstract
Purpose
The purposes of this research were to study the validity of the National Examination based on smart based test(SBT) by 7 types of healthcare occupation.
Methods
We conducted a questionnaires survey among 1,219 people including 210 professors for all 7 types of healthcare occupation and 573 clinical specialists ; 436 students from random sampling participated and the reliability of the questionnaire was tested using Cronbach’s alpha.
Results
Professors from 7 types of healthcare occupation were investigated for their opinions on the introduction of the SBT system ; 65.9% of the professors answered positively on the introduction of the SBT National Examination System, while 40.1% of the clinical experts answered likewise. In particular, professors and the clinical experts recognized altogether that the multimedia questionnaire, being effective for the evaluation of clinical and practical competence of the subjects, enabling the evaluation of various areas and strengthening the school education in clinical practices, the 42.0% of the students from 7 departments answered that the future direction of the national test is in the SBT test system with significant difference (p=.000) found in students majoring in order of Emergency Medical Services, Radiology and Physical therapy, compared to students from other majors, showing the positive response to the SBT system.
Conclusion
The results of this study comprehensively evaluated the positive recognition of development of multimedia items and SBT system in national examination of 7 types of healthcare occupation in professors, field specialists and students.
Ⅰ. 서 론
1. 연구 배경 및 필요성
보건의료인 국가시험은 해당 직종에 대한 면허 또는 자격을 부여하기 위해 시행하는 시험이며 각 직종별 국가시험은 실제 직무상황에서 문제해결능력을 가지고 있는지를 평가하여야 한다. 현재 지필시험에서 사용하고 있는 선택형 시험문항은 이러한 문제해결능력보다는 직무를 수행하는데 필요한 관련지식을 기억하거나 이해하고 있는지를 주로 평가하고 있어, 해당 직무의 실제성 또는 현실성을 반영하는 시험(authentic test)이 되기 위해서는 아직도 많은 노력이 필요한 실정이다[1].
그동안 일반적으로 보건의료인 국가시험을 위한 문항개발 시 해당 직종에서 흔하거나 또는 중요한 사례(증례) 또는 직무 상황을 텍스트 형태로 문항줄기에 제시하거나, 사진 자료를 제시하여 수험자의 문제해결능력을 평가하고자 하였다. 그러나 정구조화의 문제(well-structured problem well-defined problem)를 제시하는 시험문항도 현장에서의 문제(real world problem)와는 차이가 있어, 실제 직무상황에서 수험자의 역량을 예측하는 데는 한계가 있다고 알려져 있다. 이를 극복하고 보다 더 현실 세계의 문제해결능력을 평가하기 위해 미국의 National Board of Medical Examiners(NBME)는 2007년부터 컴퓨터 활용 시험(computer-based test)에 사례의 실제성(authenticity)을 보강한 멀티미디어(multimedia) 문항을 이용하기 시작하였다. 한국에서는 1급 응급구조사 직종에서 2014년부터 멀티미디어 시험문항을 개발하여 3회의 모의시험을 시행하고 2017년부터 국가시험을 스마트기기 기반 시험(Smart device Based Test로 이하 SBT로 약칭함) 시스템으로 전환하여 시행하였고 이후 2020년부터는 타 보건의료직종의 국가시험에 적용할 계획이다[2].
SBT 체제 구축과정은 2012년부터 국시원에서 추진했던 유비쿼터스 기반 시험(ubiquitous based test)을 스마트기기로 변경하여 문제를 직접 입력하는 방식의 SBT체제로 구체화하게 되었다. SBT 체제는 오프라인 기반의 무선 네트워크를 사용하지 않아 보안상 취약점이 없으며, 투입되는 장비 규모가 축소되어 오류의 가능성이 낮고, 시스템을 간소화 할 수 있다. 이러한 장점을 토대로 시험실 개별단위로 장비관리가 가능하도록 시스템을 모듈화하여 시험관리의 효율성을 극대화 하였으며 기존 시스템에서 구현되지 않았던 응시자 부인방지 기능, 기타 편의기능 등을 추가 개발하여 시스템의 완성도를 높여 2017년도에 1급응급구조사 국가시험에 처음 시행하였다. SBT 시험체제는 동영상 구현이 가능함에 따라 다양한 사례중심의 멀티미디어 시험문항을 개발하여 응시생들의 문제해결능력을 평가할 수 있을 뿐 아니라 답안 재검토 문제나 정전 등 시험환경의 문제 등을 안고 있는 computer-based test(CBT)의 단점을 보완한 대안이 될 수 있는 적합한 방법이다[3].
그러나 보건복지부 고시과에서 1998년 한국보건의료인국가시험원(이하 ‘국시원’ 약칭함)으로 확대개편하여 현재까지 보건의료인국가시험을 주관하면서 지필시험(paper based test, PBT) 체제를 유지해 왔으며 이에 익숙한 응시생들에게 SBT 체제로의 변화는 매우 큰 변화가 아닐 수 없으며 많은 논란이 있을 것이다. 특히 2017년부터 SBT 체제를 1급응급구조사 국가시험에 도입하면서 관련 대학의 교수 및 교수협의회 등의 단체에서는 시험변화에 근거가 되는 타당성 관련 연구가 있었는지, 도입의 필요성에 대한 근거 요구 등이 끊이지 않았다. 특히, 간호사, 물리치료사, 임상병리사, 안경사, 치위생사 등 보건의료계 교육기관에서는 2015년부터 ‘실기시험 중장기 개선방안 연구’[4-6]에 대한 국시원 위탁과제 진행을 통해 대학과 현장에서 SBT에 대한 실효성 및 실행 가능성에 대하여 원론적인 의문점을 제기하게 되었고 간호사 국가시험은 미국의 컴퓨터화 적용시험(computer aided test, 이하 CAT로 약칭)체제와 비교연구[7] 등을 통하여 현재의 지필시험에 대한 타당성 논란을 제기하고 있으며 의사 직종에서도 향후 국시의 CAT, SBT 체제에 대한 연구[8, 9]등이 계속 진행되고 있는 실정이다. 따라서 보건의료인국가시험에서의 SBT의 국가시험체제의 타당성을 검토하여 1급 응급구조사는 물론 타 보건의료직종으로 확대 시행을 앞두고 도입의 근거를 제시할 필요가 있으며 이를 위한 보건의료직종별 멀티미디어 문항(multimedia assist test로 이하 MAT로 약칭함)개발 및 SBT 체제에 대한 타당성 연구[10]가 반드시 필요하다.
본 연구는 보건의료직종별 멀티미디어 문항 개발 및 SBT 체제에 도입에 대한 타당성과 개선방안을 제시하고자 하며 이를 통해 1급응급구조사를 비롯한 보건의료인국가시험 발전에 기여하고자 한다.
2. 연구 목적
1) 1급응급구조사를 포함한 7개 보건의료직종의 멀티미디어 문항이 포함된 SBT 국시체제에 관한 인식에 대한 설문조사를 통하여 국가시험 체제 변화에 대한 근거를 마련하고자 한다.
2) 7개 보건의료전공 재학생을 대상으로 멀티미디어 문항이 포함된 SBT 모의시험 시행 후 SBT에 대한 인식을 알아보고자 한다.
3) 모의시험 문항분석을 통하여 멀티미디어 시험문항의 타당성을 확인하고 SBT 체제 시행의 문제점과 개선방안을 제시하고자 한다.
4) 보건의료인국가시험의 SBT체제의 도입에 대한 타당성을 제시하고 시험시행을 위한 개선방안에 대한 제언을 하고자 한다.
Ⅱ. 연구방법
1. 연구대상
본 연구는 일개 대학의 7개 보건의료분야 재학생, 전국에 분포한 보건의료분야 전문가 및 직무현장의 임상전문가를 대상으로 하여 설문조사를 시행하였으며 설문조사에 참여한 대상자 중 결측치가 많은 응답자를 제외한 1,219명을 대상으로 하였다.
전문가는 각 직종별 전공교수로서 1급응급구조사, 간호사, 안경사, 방사선사, 물리치료사, 임상병리사, 치과위생사 총 7개 직종별 각 30명씩 총 210명이었으며, 임상전문가는 보건의료 현장에서 근무하는 해당 직종의 면허·자격 소지자로 7개 직종의 현장전문가와 의사직종을 추가하여 총 573명을 편의표본추출하여 조사하였다. 대학의 7개 보건의료전공 재학생은 연구를 수행하는 대학 재학생으로 능력의 표준화를 위하여 무선표집을 통해 각 학과별로 60∼70명의 시험에 응시한 학생 총 436명을 대상으로 하였다. 설문조사방법은 전문가는 e-mail을 통해 자료를 수집하고, 재학생의 경우는 면대면 또는 e-mail을 활용하여 설문조사를 실시하였다.
2. 연구절차와 연구도구
멀티미디어 문항이 포함된 SBT에 대한 타당성 연구를 위한 설문지는 교수 및 임상전문가용 설문지와 모의고사를 시행한 재학생용 설문지로 구성하였으며 설문지는 보건의료직종별 교수 3인에게 의뢰하여 내용타당도를 확보하여 완성하였다. 설문구성 및 내용은 <Table 1>과 같다.
Questionnaire items for evaluating the recognition of PBT and SBT system
재학생 대상으로는 지필평가(PBT)와 SBT 기반평가에 대한 인식조사를 위한 하위내용으로 개인 배경 변인, PBT에 대한 인식, SBT에 대한 인식의 세 가지로 구분하여 문항을 구성하였으며 교수와 임상전문가 대상으로는 이미 PBT에 대한 경험을 갖고 있는 졸업생들이므로 개인배경과 새로운 멀티미디어 문항이 포함된 SBT기반 평가에 대한 인식을 변인으로 하여 설문문항을 구성하였다. 연구절차와 연구내용은 <Table 2>와 같다.
Research contents according to procedures
3. 자료분석
수집된 자료의 분석은 PASW Statistics 18.0 프로그램을 사용하였다. 우선, 인식조사에 대한 문항의 신뢰도를 확보하기 위해 Cronbach’α를 산출하였고, 연구대상자의 일반적 특성은 빈도와 백분율, 평균, 표준편차를 산출하였다. 또한 7개 직종의 전문가(교수), 임상전문가, 재학생의 배경 변인별 멀티미디어 문항이 포함된 SBT 기반 평가방식에 대한 인식차이를 분석하기 위하여 독립표본 t검정과 일원분산분석(One-way ANOVA)을 실시하였으며, ANOVA 결과에 따라 사후검정으로는 학과별 SBT 시험에 대한 인식차이를 파악하고자 Scheffé test를 실시하였다.
또한 7개 전공별 학생 대상 PBT와 SBT 모의시험문항에 대한 난이도, 변별도 비교를 위해 평균과 표준편차를 구하였으며 이를 검증하기 위하여 Cronbach’α를 도출하였다.
Ⅲ. 연구결과
1. 설문조사도구의 신뢰도 검정
본 연구에서 보건의료 전공학과 교수, 임상전문가 대상 SBT기반 멀티미디어 문항이 포함된 평가방식에 대한 타당성을 확인하기 위하여 <Table 3>과 같이 설문항목을 구성하였고 평가방식에 대한 인식조사 설문에 대한 신뢰도는 Cronbach’α를 산출하였다.
Questionnaire items for investigating the perception of evaluation method with SBT system including multimedia items
재학생, 임상전문가, 교수대상 멀티미디어 문항이 포함된 SBT 기반 평가방식에 대한 타당성을 알아보기 위한 설문지의 문항은 인구사회학적 특성 3문항, 스마트기기 관련 일반적 사항 7문항, 스마트기기 친숙도 5문항, 스마트기기 기반 시험에 대한 인식 8문항, 멀티미디어 문항의 효과 8문항으로 총 31문항이다. 또한 스마트기기 친숙도, 스마트기기 기반 시험에 대한 인식, 멀티미디어 문항의 효과를 묻는 문항의 하위내용 변수값은 ‘전혀 아니다’ 1점, ‘아니다’ 2점, ‘보통이다’ 3점, ‘그렇다’ 4점, ‘매우 그렇다’ 5점의 Likert 5점 척도이며, 각 하위영역별로 Cronbach’α는 스마트기기 친숙도 문항의 신뢰도는 Cronbach’α= .943, SBT에 대한 인식도 문항의 신뢰도는 Cronbach’α= .876, 멀티미디어 문항의 효과에 대한 문항의 신뢰도는 Cronbach’α= .920이었다.
2. 교수 및 임상전문가 대상 설문조사 결과
1) 인구사회학적 특징 및 SBT 시험에 대한 기본정보
PBT 방식과 멀티미디어 문항이 포함된 SBT 기반 평가방식에 대한 전문가들의 인식을 조사하기 위하여 보건의료 7개 전공학과의 교수들을 대상으로 설문조사를 실시하였다.
참여한 연구대상자는 교수 212명으로 이중 결측치가 많은 응답지를 제외하고 총 210명을 대상으로 분석이 이루어졌으며 분석에 사용된 연구대상자의 인구사회학적 특징과 SBT시험에 대한 기본정보는 <Table 4>와 같다.
Demographic and sociological characteristics and Basic information on SBT system of professors and clinical specialists
설문에 응답한 교수들은 남자 57%, 여자 43%였으며 전공학과는 7개 학과가 고르게 분포하였으며 직급은 조교수 35%, 부교수 25%, 교수 16%, 외래교수 24%였다.
스마트기기 시험 경험은 63%가 있다고 응답하였으며 스마트기기는 주로 SNS 통신과 검색에 이용하였고 스마트기기 사용일은 66%가 일주일에 7일이라고 답하였다.
또한 SBT 국가시험에 대한 기본정보를 조사한 결과, 교수들은 SBT 체제와 기존 PBT 간 시혐 유형별 측정 효과에 대한 인식을 묻는 문항에서 46%가 SBT 시험체제의 측정효과가 높을 것으로 응답하였다. 앞으로의 국가시험체제의 방향에 대한 문항에서도 63%가 SBT 체제의 필요성을 지지하였다. 또한 멀티미디어 문항을 SBT 시험에 도입하는 경우, 멀티미디어 문항의 적정출제비율은 5∼6%가 적당하다고 응답한 비율이 40%로 가장 많았다.
보건의료분야 임상전문가에 대한 설문조사는 보건의료 현장에서 해당 직종의 면허 또는 자격을 소지하고 업무를 수행하고 있는 임상전문가를 대상으로 실시하였다. 본 연구에 참여한 임상전문가는 의사직종을 추가하여 총 573명이었으며 성별은 남자가 36%, 여자는 64%였으며 전문직종으로는 의사를 포함하여 8개 직종에서 고르게 참여하였다. 현장경력은 1∼2년 34.%, 9년 이상 30%, 3∼5년 19.9%, 5∼8년 16.1%의 순이었다.
스마트기기 시험 경험은 65%가 있었으며 스마트기기 사용범위는 주로 SNS 통신과 검색시 이용하였고 스마트기기 사용일은 88%가 7일 이상이라고 응답하였다.
임상전문가들은 SBT와 기존 PBT의 시혐 유형별 측정효과에 대한 인식을 묻는 문항에서는 46%가 SBT와 PBT 간의 측정효과에 차이가 없다고 응답하였다. 또한 앞으로의 국가시험 시스템의 방향을 묻는 문항에서는 40%에서 SBT 국가시험체제의 필요성을 지지하였다. 또한 멀티미디어 문항을 SBT에 도입하는 경우, 멀티미디어 문항의 적정출제비율에 대하여 5∼6%가 적당하다고 응답한 비율이 30%로 가장 많았다<Table 4>.
2) 교수 및 임상전문가들의 스마트기기 친숙도
교수들의 스마트기기에 대한 친숙도는 평균 4.05∼4.13으로 높은 친숙도를 나타냈고, 스마트기기 사용에 대한 긴장감을 거의 갖지 않았다.
임상전문가들의 스마트기기에 대한 친숙도는 평균 4.32∼4.46으로 나타나 교수들보다 높은 친숙도를 나타냈고, 스마트기기 사용에 대한 긴장감을 거의 갖지 않았다<Table 5>.
Smart device familiarity of professors and clinical specialists
교수들의 배경변인별 스마트기기 친숙도에 대한 인식 차이를 분석한 결과, 직급에 따라서 스마트기기 친숙도에 차이가 있었으며 특히, 교수직급은 조교수, 부교수, 외래교수에 비해 스마트기기 친숙도가 낮았으나 사후분석결과는 특정한 직급별 유의한 차이는 없었다<Table 6>.
Differences in familiarity with smart devices by background variables of professors and clinical specialists
임상전문가들의 배경변인별 스마트기기 친숙도에 대한 차이는 스마트기기 사용 시험경험이 있는 집단이 스마트기기 친숙도가 유의하게 높았다. 또한 스마트기기 사용유무에 따라서도 친숙도에 차이가 있었는데 스마트 기기를 사용하는 집단이 더 높은 친숙도를 보였다. 또한 스마트기기 사용일이 일주일에 7일인 집단이 가장 높은 친숙도를 보였다. 스마트기기 사용범위에 따라서도 친숙도에 유의한 차이가 있었는데, SNS통신을 많이 하는 집단이 친숙도가 가장 높았다. 즉, 스마트기기에 높은 친숙도를 보인 임상전문가들은 스마트기기 사용 시험 경험이 있고, 현재 스마트기기를 사용하고 있으며, 일주일에 7일 동안 스마트기기를 사용하며 주로 SNS 통신을 한다고 응답하였다<Table 6>.
3) 교수 및 임상전문가들의 스마트기기 기반 시험에 대한 인식
교수들의 SBT에 대한 인식은 ‘장기적으로 시험시행의 경비절감에 기여할 수 있다(3.78)’에 가장 긍정적으로 응답하였으며 임상전문가들의 SBT에 대한 인식에서도 ‘장기적으로 시험시행에 따르는 경비절감에 기여할 수 있다(3.68)’에 응답하였다<Table 7>.
Perception of SBT by professors and clinical specialists
교수들의 배경변인별 SBT에 대한 인식정도의 차이를 분석한 결과, 학과에 따라서 인식정도에 유의한 차이가 있었다. 특히, 방사선학과 교수들이 가장 높은 긍정적 인식을 나타냈고, 다음으로 응급구조학과, 물리치료학과, 임상병리학과, 안경광학과, 간호학과와 치위생학과 순이었으나 사후분석결과에는 특정한 학과별 유의한 차이는 없었다<Table 8>.
Differences in perception of SBT by background variables of professors and clinical specialists
임상전문가들의 배경변인별 SBT에 대한 인식 정도의 차이를 분석한 결과, 여자에 비해 남자가 더 긍정적인 인식을 나타내었으며 스마트기기 사용 시험 경험의 유무에 따라서는 경험이 있는 집단이 유의한 수준에서 더 긍정적으로 인식하였다. 또한 직종에 따른 SBT시험에 대한 인식의 차이 분석 결과, 임상병리사, 의사, 방사선사, 물리치료사, 간호사, 응급구조사, 치위생사, 안경사 순으로 긍정적으로 인식하였다. 또한 SBT에 대한 인식 차이에 있어서 집단 간 점수에 유의한 차이가 있는 직종은 임상병리사와 안경사, 응급구조사, 치위생사였다<Table 8>.
4) 교수 및 임상전문가들의 멀티미디어 문항의 효과에 대한 인식
보건의료 관련 전공학과 교수들의 멀티미디어 문항의 효과에 대한 인식을 묻는 문항에서 ‘멀티미디어 문항은 사진, 오디오, 동영상 등을 활용하여 임상현장의 실제상황을 현장감 있게 표현할 수 있으므로 지필시험의 한계요인을 극복할 수 있다(4.01)’는 문항에 가장 긍정적으로 인식하였으며 이 문항은 임상전문가 대상 설문결과에서도 가장 높은 평균 점수(3.87)를 나타내어 두 집단 모두 멀티미디어 문항의 가장 긍정적인 측면은 임상현장에 대한 현장적응력을 국가시험을 통하여 효과적으로 평가할 수 있는 것으로 인식하고 있음을 알 수 있다<Table 9>.
perception of effects of multimedia questionnaire items of professors and clinical specialists
교수들의 배경변인별 멀티미디어 문항 효과에 대한 인식 차이를 분석한 결과, 성별과 직급에 따라서 멀티미디어 문항 효과에 대한 인식에 유의한 차이가 있는 것으로 나타나 여자에 비해 남자가 멀티미디어 문항의 효과를 더 긍정적으로 인식하는 것으로, 직급별로는 조교수는 부교수와 외래교수에 비해 멀티미디어 문항을 더 긍정적으로 인식하는 것으로 나타났으나 사후분석결과에는 특정한 그룹별 유의한 차이는 없었다<Table 10>.
Differences in perception of effects of multimedia questionnaire items by background variables of professors and clinical specialists
임상전문가들의 배경변인별 멀티미디어 문항의 효과에 대한 인식 차이를 분석한 결과, 여자에 비해 남자가 멀티미디어 문항의 효과를 더 긍정적으로 인식하였다. 또한 스마트기기 사용유무에 따라 멀티미디어 문항의 효과에 대한 인식에 차이가 있는 것으로 나타났는데 스마트기기를 사용하는 집단이 더 효과적으로 인식하였다. 또한 직업에 따라서는 의사 직종이 멀티미디어 문항의 효과에 가장 긍정적으로 인식하였으며 다음으로 임상병리사, 방사선사, 물리치료사, 간호사, 응급구조사, 안경사, 치위생사 순으로 멀티미디어 문항의 효과에 대해 긍정적으로 인식하였다. 특히, 멀티미디어 문항의 효과에 대한 인식 차이에 있어서 집단 간 점수 차이가 유의한 직종은 임상병리사와 물리치료사였다<Table 10>.
3. 재학생 대상 설문조사 및 모의시험 결과 분석
1) 재학생 대상 SBT 국가시험 체제에 대한 학과별 인식조사 연구
7개 보건의료직종별 재학생을 대상으로 멀티미디어 문항이 포함된 SBT 기반 시험에 응시한 학생들을 대상으로 SBT 기반 시험체제로의 변화 필요성에 대한 의견과 시험시행을 위한 개선방안을 조사하기 설문조사를 실시하였다. 간호학과 69명, 안경광학과 60명, 응급구조학과 50명, 방사선학과 60명, 물리치료학과 60명, 임상병리학과 72명, 치위생학과 65명으로 총 436명의 3∼4학년 학생이 각 전공별 SBT 모의시험에 응시하였다. 모의시험문제는 멀티미디어 문항을 5%를 포함한 전공별 100문항을 개발하여 같은 문제를 스마트기기 기반 시험과 지필시험으로 2회에 걸쳐 실시한 후 설문조사를 실시하였다. 설문조사는 스마트기기 기반 시험 전반에 대한 인식을 묻는 문항과 스마트기기 기반 시험 수행과정 상의 편리성, 스마트기기를 이용한 시험의 장점, SBT 기반 시험에 대한 인식, 멀티미디어 문항의 효과에 대하여 Likert 5점 척도로 조사하였다.
7개 보건의료관련 학과의 학생들을 대상으로 멀티미디어 문항이 포함된 SBT 기반 시험에 대한 인식조사를 실시하였다. 설문도구의 신뢰도는 Cronbach’α 계수를 산출하여 확인하였다. SBT 기반 시험 수행의 편리성을 묻는 16문항의 Cronbach’α=.910 이었으며 종이시험과 비교한 SBT의 장점을 묻는 7문항의 Cronbach’α=.899, 컴퓨터를 이용한 시험과 비교하여 SBT의 장점에 대한 4문항은 Cronbach’α=.923이었다. 또한 SBT에 대한 인식을 묻는 문항은 8문항으로 Cronbach’α=.924, 멀티미디어 문항의 효과를 묻는 문항은 8문항으로 Cronbach’α는 .911로 설문조사 측정도구의 전체적인 신뢰도는 .899∼ .924로 높은 신뢰도를 보였다<Table 11>.
Questionnaire items on perceptions of SBT with multimedia items for student subjects
(1) 재학생들의 일반적 특성
모의시험에 참여하고 설문에 응답한 학생들은 남자 128명(29.4%), 여자 308명(70.6%)으로 여자가 더 많았으며 학과별로는 간호학과 69명(15.8%), 안경광학과, 방사선학과, 물리치료학과 각각 60명(13.8%), 응급구조학과 50명(11.5%), 임상병리학과 72명(16.5%), 치위생학과 65명(14.9%)이였다. 학년은 3학년 92명(21.1%), 4학년 344명(78.9%)이었으며 학생들의 성적분포는 직전학기 학점평균 2.1∼3.5가 234명(53.7%)으로 가장 많았고 다음으로는 3.6∼4.0가 153명(35.1%), 4.1∼4.5가 43명(9.9%), 2.0미만 6명(1.4%)의 순이었다.
스마트기기와 관련된 일반적인 사항에 대한 조사결과 컴퓨터를 이용한 시험은 370명(84.9%)이 경험이 있었으며, 스마트기기를 이용한 시험은 278명(63.8%)이 경험이 없었다. 즉, 대부분의 학생들이 컴퓨터를 이용한 시험 경험은 있지만 스마트 기기를 이용한 시험 경험은 많지 않음을 알 수 있다.
또한 현재 425명(97.4%)이 스마트기기를 사용하고 있다고 응답하였으며 스마트기기 사용기간은 408명(93.6%)이 7일 이상 사용한다고 응답하였고 스마트기기의 주 사용 용도로 SNS 통신이 307명(70.4%)으로 가장 많았다.
또한 SBT에 대한 전반적 인식을 묻는 문항에서는 가장 정확하게 수험자의 실력을 측정하는 시험유형으로 SBT와 PBT가 차이가 없다는 응답이 189명(43.3%)으로 가장 많았고, 다음으로 SBT 156명(35.8%), PBT 91명(20.9%) 순이었다. 또한 앞으로 국가시험체제의 방향이 어떻게 바뀌어야 하는가에 대한 질문에서는 SBT가 183명(42.0%), ‘차이없음’이 138명(31.7%), PBT가 115명(26.4%) 순이었다. 국시문항 중 멀티미디어 문항의 적정출제비율을 묻는 문항에서는 1∼2%가 122명(28.0%)으로 가장 많았으며, 다음으로 3∼4%가 106명(24.3%), 5∼6%가 104명(23.9%), 9% 이상이 71명(16.3%), 7∼8%가 33명(7.6%) 순이었다<Table 12>.
General characteristics of student subjects (N=436)
(2) 실력 측정의 정확도 및 국시평가시스템 방향에 대한 학과별 인식 차이
학과별로 응시자들의 실력 측정의 정확도에 대한 인식에 차이가 있는지 알아보기 위한 χ2검증 결과, ‘차이없음’에 가장 많이 응답한 학과는 간호학과 39명(56.5%), 안경광학과 22명(36.7%), 방사선학과 26명(43.3%), 치위생학과 36명(55.4%)이었다. SBT가 실력을 정확하게 측정할 수 있다에 가장 많이 응답한 학과는 응급구조학과 31명(62.0%), 물리치료학과 31명(51.7%), 임상병리학과 32명(44.4%)으로 응답하여 간호학과, 안경광학과, 방사선학과, 치위생학과의 경우는 SBT와 PBT에 차이가 없다고 인식하는 학생이 많았으며 SBT가 응시자의 실력을 더 정확하게 측정한다고 인식한 학과는 응급구조학과, 물리치료학과, 임상병리학과였다<Table 13>.
Differences in perception of accuracy in ability measurement and future direction of the national examination systems (N=436)
향후 국가시험 평가시스템의 방향에 대한 학과별 인식의 차이 알아보기 위해 χ2 검증을 실시한 결과, 간호학과의 경우, ‘PBT’와 ‘상관없음’에 각각 25명(36.2%)으로 가장 많이 응답하였고, ‘PBT’에 가장 많이 응답한 학과는 안경광학과 24명(40.0%), 치위생학과 25명(38.5%)이었으며 ‘SBT’에 가장 많이 응답한 학과는 응급구조학과 35명(70.0%), 방사선학과 27명(45.0%), 물리치료학과 39명(65.0%), 임상병리학과 31명(43.1%)이었다. 즉, ‘상관없음’에 가장 많이 응답한 학과는 간호학과이며, ‘PBT’에 가장 많이 응답한 학과는 안경광학과, 치위생학과, SBT가 미래 국시평가 시스템의 방향이라고 인식한 학과는 응급구조학과, 방사선학과, 물리치료학과, 임상병리학과였다<Table 13>.
(3) MAT문항의 적정출제비율에 대한 학과별 인식 차이
MAT문항의 적정출제비율에 학과별 인식 차이를 알아보기 위해 χ2검증을 실시한 결과, 간호학과는 1∼2%에 34명(49.3%)로 가장 많이 응답하였고, 안경광학과는 1∼2%에 20명(33.3%)으로 가장 많이 응답하였다. 응급구조학과는 9% 이상에 24명(48.0%)으로 가장 많이 응답하였고, 방사선학과는 1∼2%에 18명(30.0%)으로 가장 많이 응답하였다. 물리치료학과는 5∼6%에 16명(26.7%), 임상병리학과는 3∼4%와 5∼6%에 22명(30.6%)으로 동일하게 응답하였고, 치위생학과는 3∼4%에 24명(36.9%)으로 가장 많이 응답하여 MAT문항의 적정출제비율로 응급구조학과가 9%로 가장 높게 응답하였고, 다음으로는 임상병리학과와 물리치료학과가 5∼6%, 치위생학과가 3∼4%, 간호학과, 안경광학과, 방사선학과는 1∼2%의 비율에 가장 많이 응답하였다<Table 14>.
Differences in perception of appropriate proportion of MAT items in national examination (N=436)
(4) SBT 시행과정의 편리성 및 멀티미디어 문항의 효과에 대한 학과별 인식 차이
SBT 시행과정의 편리성에 대한 인식은 전체 평균(표준편차)은 4.02(.60)였으며 학과별로 SBT 시행의 편리성 인식에 어떠한 차이가 있는지 알아보기 위해 F검증을 실시한 결과, 물리치료학과가 평균(표준편차) 4.19(.550)로 편리성에 대해 가장 높게 인식하였으며, 다음으로 응급구조학과 4.18(.460), 치위생학과 4.09(.500), 간호학과 3.97(.760), 방사선학과 3.96(.460), 임상병리학과 3.90(.770), 안경광학과 3.89(.710) 순으로 SBT 시행과정이 편리하다고 인식하였다<Table 15>.
Perceptions of convenience in the process of performing SBT and perceptions of effects of multimedia questionnaire (N=436)
멀티미디어 문항의 효과에 대한 인식에서는 전체 평균(표준편차)은 3.87(.71)로 높았다. 또한 학과별 멀티미디어 문항의 효과에 대한 인식에 어떠한 차이가 있는지 알아보기 위해 F검증을 실시한 결과, 응급구조학과가 평균(표준편차) 4.25(.587)로 멀티미디어 문항의 효과에 대한 인식이 가장 높았고, 다음으로 물리치료학과 4.01(.680), 임상병리학과 3.89(.760), 치위생학과 3.88(.660), 방사선학과 3.83(.670) 간호학과 3.82(.810), 안경광학과 3.41(.880)의 순이었다<Table 15>.
(5) 지필시험 및 컴퓨터기반 시험과 비교한 SBT의 장점에 대한 학과별 인식 차이
지필시험(PBT)과 비교한 SBT의 장점에 대한 인식은 전체 평균(표준편차)은 3.79(.78)이었으며 보건의료 직종별 PBT와 비교한 SBT의 장점에 대한 인식의 차이를 알아보기 위해 F검증을 실시한 결과, 응급구조학과가 평균(표준편차) 4.09(.700)로 지필시험과 비교한 SBT의 장점에 대한 인식이 가장 높았으며 다음으로 물리치료학과, 방사선학과, 치위생학과, 간호학과, 임상병리학과, 안경광학과 순이었다<Table 16>.
Perceptions of advantages of SBT comparing to PBT and CBT (N=436)
컴퓨터 기반시험(CBT)과 비교한 SBT의 장점에 대한 인식은 전체 평균(표준편차)은 4.07(.76)으로 높게 나타났으며 CBT와 비교한 SBT의 장점에 대한 인식의 차이를 알아보기 위해 F검증을 실시한 결과, 응급구조학과가 평균(표준편차) 4.36(.660)으로 CBT와 비교한 SBT의 장점에 대한 인식이 가장 높았으며 다음으로 물리치료학과, 방사선학과, 치위생학과, 간호학과, 임상병리학과, 안경광학과 순이었다<Table 16>.
(6) SBT 모의시험에 대한 전반적 의견
멀티미디어 문항이 포함된 SBT 모의시험 참여 후 전반적으로 느낀점이나 개선사항을 조사하기 위하여 시험에 대해 느낀점과 불만사항, 개선점 등을 자유롭게 기술하도록 하였다<Table 17>.
Comment on positive, negative and improvements on SBT-based National Examinations
SBT에 대한 긍정적 의견은 SBT 시험의 편리함에 대해 가장 긍정적으로 평가를 했다. 시험 진행이 수월하고, 답안마킹이 편리했으며 시험에 사용된 기기가 편리했다는 의견이 주를 이루어 전체적으로 긍정적 의견의 81.5%를 차지했다. 그 외에 ‘실기평가에 긍정적이다’. ‘시험문제를 이해하는데 도움이 되었다’, ‘종이낭비를 줄일 수 있다’, ‘사진이 잘 보여서 문제풀기가 쉬었다’ 등의 의견들이 있었다.
반면, 13명의 부정적인 의견도 제기되었는데 가장 높은 부정적 의견은 ‘이유없이 싫다’는 의견이 7명으로 제일 많았으며 ‘눈의 피로와 집중이 안된다’는 의견이 3명으로 나타났다. 이는 태블릿을 바닥에 놓고 보는 상황에서 화면의 반사현상이 응시자의 만족도를 떨어뜨린 것으로 판단할 수 있다. 또한 익숙하지 않다는 이유를 부정적인 의견으로 제시하기도 하였다. 이처럼 긍정적인 의견이 대부분이었지만, 소수의 부정적인 의견에 대한 개선점도 찾아야 할 것이다.
개선이 필요한 사항 중 가장 많은 의견은 메모기능의 개선이었다. 스마트탭과 이어폰만 제공되고 손가락으로 터치하는 방식보다 더 원활한 기능을 요구했다. 터치펜 기능을 도입할 경우 메모나 계산기능까지 보완되므로 많은 불편이 해소될 것으로 보인다. 또한 사용 중 오류발생에 대한 불안감도 제시하였는데 이는 교육현장에서 연습기회를 제공하거나 멀티미디어를 활용한 교육을 강화하여 이러한 평가에 익숙해질 수 있도록 할 필요가 있다. 자막을 활용하는 것도 동영상의 정확성을 보완하는 좋은 아이디어가 될 수 있다. 또한 오답체크기능의 보완, 남은 시간을 표시하는 기능의 추가를 제안하였다. 시험 안내 단계에서만 제공되는 화면의 밝기와 음량 조정 시 잡음의 개선이 필요하다는 의견 등은 앞으로 기기와 시험 환경 개선에 반영할 필요가 있다. 이들 요구사항들을 반영하여 더 나은 시험환경 제공을 위해 노력해야 할 것이다.
2) 지필시험(PBT)과 SBT 문항 비교분석
모의시험은 7개 학과의 3, 4학년으로 각 학과별로 약 60명∼70명씩 총 436명을 선정하여 시행하였다. 전공별 60명의 수험자 중에서 무선표집을 통해 A, B 두 집단으로 균등하게 구성하여 직종별로 100문항씩 PBT와 SBT 모의시험을 2회 실시하였다. 100문항씩 같은 문항을 1차 평가에서는 A집단이 PBT로, B집단이 SBT기반 시험을 치르고, 2차 평가에서는 반대로 B집단이 SBT기반 시험을 치르고, A집단이 PBT를 치르는 형태로 모의시험을 설계하여 시행하였으며 문항 배점은 1문항 당 1점으로 총 100문항의 100점 만점으로 평가하였다.
7개 전공별 PBT와 SBT 문항에 대한 난이도와 변별도 분석결과는 <Table 18>과 같다.
The Degree of difficulty and discriminant index of the Sham examination by department
간호사 모의시험의 난이도는 PBT .839, SBT .592로 문항난이도 범위에서 모두 ‘어렵다’에 해당하여 간호사 시험의 PBT와 SBT의 문항난이도는 시험유형에 따라 다르지 않았다. 문항변별도는 PBT 1.02, SBT 1.03으로 문항변별도 범위에서 모두 ‘적절하다’에 해당하므로 문항변별도는 시험유형에 따라 다르지 않았다.
물리치료사 시험문항의 난이도는 PBT 2.79로 문항난이도 범위에서 ‘매우 어렵다’에 해당하고, SBT .318로 문항난이도 범위에서 ‘중간이다’에 해당하므로 물리치료사 시험의 PBT와 SBT의 문항 난이도는 시험유형에 따라 다르게 나타났으며 문항변별도의 경우, PBT .920, SBT .985로 문항 변별도 범위에서 모두 ‘적절하다’에 해당하므로 물리치료사 시험문항의 문항변별도는 시험유형에 따라 다르지 않았다.
방사선사 시험문항의 난이도는 PBT -.841로 ‘매우 쉽다’에 해당하고, SBT -2.37로 문항난이도 범위에서 ‘쉽다’에 해당하므로 방사선사 시험의 문항난이도는 시험유형에 따라 모두 ‘쉽다’의 범위에 해당하므로 시험유형에 따라 다르지 않았으며 문항변별도의 경우, PBT .990, SBT 1.10으로 문항변별도 범위에서 모두 ‘적절하다’에 해당하므로 방사선사 시험의 문항변별도는 시험유형에 따라 다르지 않음을 알 수 있다.
안경사 시험문항의 난이도는 PBT .621, SBT시험 .714로 모두 ‘어렵다’에 해당하므로 안경사 시험의 PBT와 SBT의 문항난이도는 시험유형에 따라 다르지 않았으며 문항변별도는 PBT .979, SBT .951로 문항변별도 범위에서 모두 ‘적절하다’에 해당하므로 안경사 시험의 문항변별도는 시험유형에 따라 다르지 않음을 알 수 않았다.
1급 응급구조사 시험문항의 난이도는 PBT -.319, SBT -.922로 모두 ‘쉽다’에 해당하므로 문항 난이도는 시험유형에 따라 다르지 않았으며 문항변별도의 경우, PBT 1.10, SBT .970으로 문항변별도 범위에서 모두 ‘적절하다’에 해당하므로 1급응급구조사 시험의 문항변별도는 시험유형에 따라 다르지 않았다.
임상병리사 시험문항의 난이도는 PBT .700, SBT .435로 모두 ‘어렵다’에 해당하므로 문항난이도는 시험유형에 따라 다르지 않았으며 문항변별도는 PBT .969, SBT .948로 문항변별도 범위에서 모두 ‘적절하다’에 해당하므로 임상병리사 시험의 문항변별도는 시험유형에 따라 다르지 않았다.
치위생사 시험문항의 난이도는 PBT -.813, SBT -.828로 모두 ‘쉽다’에 해당하므로 치위생사 시험의 문항난이도는 시험유형에 따라 다르지 않음을 알 수 있다. 문항변별도는 PBT .936, SBT .943으로 문항변별도 범위에서 모두 ‘적절하다’에 해당하므로 치위생사 시험의 문항변별도는 시험유형에 따라 다르지 않았다.
결론적으로, 문항의 난이도와 변별도는 PBT와 SBT 간 동일한 기준구간에 해당하는 것으로 나타났으므로 시험유형별 문항난이도와 문항변별도에 큰 차이는 없는 것으로 해석할 수 있다. 그러나 세부적으로 살펴보면, 문항난이도에서 간호사, 물리치료사, 1급 응급구조사, 임상병리사, 치위생사 시험에서는 SBT에 비해 PBT의 난이도가 더 높았다. 또한 문항변별도에 있어서는 간호사, 물리치료사, 방사선사, 치위생사 직종은 PBT에 비해 SBT시험의 변별도가 더 높았다<Table 18>.
Ⅳ. 고 찰
본 연구는 보건의료국가시험의 지필평가(PBT) 방식과 멀티미디어 문항이 포함된 SBT 기반 평가방식에 대한 인식을 조사하기 위하여 시행하였으며 보건의료 전공학과의 교수들과 재학생 및 보건의료 현장에서 해당 직종의 면허나 자격소지자로서 업무를 수행하고 있는 임상전문가를 대상으로 설문조사를 실시하였다. 본 연구에 참여한 연구대상자는 교수 210명, 임상전문가 573명, 모의시험에 응시한 재학생 436명이었으며 총 1,219명의 설문자료를 분석하여 연구결과를 도출하였다.
응급구조사 직종은 2014년 국시원의 응급구조사 시험위원회에서 1급응급구조사 국가시험에서 컴퓨터화시험 도입을 결정하고 1급응급구조사 국가시험 컴퓨터화시험도입 실무위원회를 구성하여 2017년도 하반기부터 시험시행을 추진하기로 결의하였다. 그 후 1급응급구조사 국가시험의 SBT 시험체제로의 중·장기 추진 계획안을 수립하였으며 계획안에 따라 2014년부터 2016년까지 3회의 모의시험을 시행하였으며 최초로 2017년 SBT체제의 국가시험을 시행하게 되었다. 향 후 타 보건의료 직종 확대 실시를 앞두고 7개 직종을 대상으로 멀티미디어 문항을 포함한 SBT기반 시험에 대한 타당성 연구는 의의가 크다.
연구 결과 보건의료 관련 전공학과 교수들은 스마트기기에 대한 친숙도에서 평균 4.05∼4.13으로 높은 친숙도를 나타냈고, 직급에 따라 교수들은 조교수, 부교수, 외래교수에 비해 스마트기기 에 대한 친숙도가 낮았으며 임상전문가들도 평균 4.32∼4.46으로 스마트 기기에 대한 긴장도를 거의 갖지 않았다.
보건의료 관련 전공학과 교수들의 스마트기기 기반 시험(SBT)에 대한 인식은 ‘장기적으로 시험시행의 경비 절감에 기여할 수 있다(3.78점)’에 가장 긍정적인 인식을 보여 스마트기기 기반 시험의 가장 긍정적인 측면은 시험실시의 경비절감이었으며 이는 임상전문가들도 같은 인식(3.68)을 보였다.
보건의료 관련 전공학과 교수들의 멀티미디어 문항의 효과에 대한 인식에서는 ‘멀티미디어 문항은 사진, 오디오, 동영상 등을 활용하여 임상현장의 실제상황을 현장감 있게 표현할 수 있으므로 지필시험의 한계요인을 극복할 수 있다(4.01)’에 가장 긍정적으로 인식하였으며 이 문항은 임상전문가 대상 설문결과에서도 가장 높은 평균점수(3.87)를 나타내어 두 집단 모두 멀티미디어 문항의 가장 긍정적인 측면은 국가시험을 통하여 임상현장에 대한 현장적응력을 효과적으로 평가할 수 있는 것으로 인식하고 있음을 알 수 있었다. 이 결과는 국시원에서 2014년부터 2016년까지 전국 응급구조학과 학생을 대상으로 시행한 모의시험 결과를 분석한 선행연구[9]에서 멀티미디어 문항이 지필문항보다 추론이나 해석, 판단, 문제해결능력을 평가하기에 더 장점이 있으며 이러한 멀티미디어 문항의 긍정적인 측면을 평가에 잘 활용해야 한다고 한 것과 일치한다고 할 수 있다.
보건의료 관련 전공학과 교수들의 스마트기기 기반 시험에 대한 인식은 방사선학과, 응급구조학과, 물리치료학과, 임상병리학과, 안경광학과, 간호학과와 치위생학과 순으로 긍정적 인식을 나타냈고, 임상전문가들의 스마트기기 기반 시험에 대한 인식에서는 SBT에 대한 유경험자가, 여성보다 남성이 유의한 긍정적인 인식을 나타내었고 직종별로는 임상병리사, 의사, 방사선사, 물리치료사, 간호사, 응급구조사, 치위생사, 안경사 순으로 유의한 긍정적 인식을 보였다.
보건의료 관련 전공학과 교수들의 멀티미디어 문항의 효과에 대한 인식은 여자에 비해 남자가 멀티미디어 문항의 효과를 더 긍정적으로 인식하였으며 직급에 따라 조교수는 부교수에 비해 멀티미디어 문항을 더 긍정적으로 인식하였다. 임상전문가들의 멀티미디어 문항의 효과에 대한 인식 차이는 여자에 비해 남자가 멀티미디어 문항의 효과를 더 긍정적으로 인식하였고, 스마트기기를 사용하는 집단이 더 긍정적으로 멀티미디어 문항 효과를 인식하였다. 직종별로는 의사 직종이 멀티미디어 문항의 효과에 가장 긍정적으로 인식하였으며 다음으로 임상병리사, 방사선사, 물리치료사, 간호사, 응급구조사, 안경사, 치위생사 순이었다. 특히, 멀티미디어 문항의 효과에 대한 인식 차이에 있어서 직종 간 점수 차이가 유의한 집단은 임상병리사와 물리치료사였다.
교수들의 SBT 기반 시험체제의 도입에 대한 필요성에 대한 인식은 대상자의 63%가 긍정적인의견을 나타냈는데 특히, 멀티미디어 문항이 임상이나 실습 역량평가에 긍정적이고, 다양한 영역의 평가를 가능하게 하며, 이는 실무위주의 학교교육으로의 변화를 기대할 수 있다고 응답하였으며 멀티미디어 문항의 적정출제비율은 5∼6%라는 응답이 가장 많았다.
임상전문가들은 SBT 기반 시험체제의 도입 필요성에 40%가 지지하였고 멀티미디어 문항의 적정출제비율은 5∼6%가 30%로 가장 많았다.
보건의료전공 학생들은 학과별 100개 문항의 모의시험을 지필시험과 멀티미디어 문항 3-5%가 포함된 SBT방식의 모의시험에 응시한 후 국가시험 체제에 대한 직종별 인식조사 설문에 응답하였다. 분석결과 학과별 학생들은 미래 국시평가시스템 방향에 대한 인식에서, ‘상관없음’에 가장 많이 응답한 학과는 간호학과이며, ‘지필시험’에 가장 많이 응답한 학과는 안경광학과, 치위생학과였으며, SBT가 미래 국시평가시스템의 방향으로 인식하고 있는 학과는 응급구조학과, 방사선학과, 물리치료학과, 임상병리학과의 순이었으며 이는 학과 간 매우 유의한 차이를 보였다(p=.000). 특히 국시원 주관 하에 2014년부터 2016년까지 전국적으로 3회의 모의시험을 시행한 응급구조학과 학생들이 SBT 체제를 미래 국가시험 방식으로 가장 높게 인식(70.0%)하고 있었다.
학과별로 멀티미디어 문항의 적정출제비율에 대한 인식에는 매우 유의하 차이가 있었는데(p=.000), 응급구조학과의 경우가 9%로 가장 높게 응답하였고, 다음으로 임상병리학과와 물리치료학과 5-6%, 치위생학과 3-4%, 간호학과, 안경광학과, 방사선학과 1-2%의 순이었다.
SBT 시행과정의 편리성에 대한 학생들의 인식은 학과별로 유의한 차이를 보였는데(p=.023) 물리치료학과, 응급구조학과, 치위생학과, 간호학과, 방사선학과, 임상병리학과, 안경광학과 순으로 긍정적 인식을 보였으며 전체 평균은 4.02로 편리성에 대하여 높은 긍정적 인식을 나타냈다. 이는 2016년 9월 전국 응급구조학과 재학생을 대상으로 국시원에서 SBT 모의시험 시행 후 실시한 설문조사 결과와도 일치하는데 시험 응시자 1,205명 중 설문 응답자 1,176명을 대상으로 한 설문분석 결과 시험문제 해결과정의 편리성과 관련된 문항의 평균점수가 4.23으로 SBT의 편리성에 대해 매우 긍정적으로 인식을 하였다[9].
학생들의 지필시험과 비교한 SBT의 장점에 대한 학과별 인식은 응급구조학과가 4.09로 가장 높았고, 다음으로 물리치료학과, 방사선학과, 치위생학과, 간호학과, 임상병리학과, 안경광학과 순이었다. 이와 같은 결과를 뒷받침하는 결과로 2016년 9월 전국 응급구조학과 재학생을 대상으로 국시원에서 SBT 모의시험 시행 후 실시한 설문조사 결과에서도 평균점수가 4.26으로 지필시험에 비해 SBT 방식에 대한 장점을 높게 인식하였다[9].
학과별 학생들의 컴퓨터기반 시험(이하 CBT)과 비교하여 SBT의 장점에 대한 인식은 학과 간 유의한 차이(p=.001)를 보였는데, 응급구조학과가 CBT에 비해 SBT의 장점에 대한 인식이 4.36으로 가장 높았고, 다음으로 물리치료학과, 방사선학과, 치위생학과, 간호학과, 임상병리학과, 안경광학과 순이었다. 이는 2016년 9월에 전국 응급구조학과 재학생을 대상으로 시행된 SBT 모의시험 후 응시자를 대상으로 한 설문분석 결과의 평균점수 4.13와 유사하게 높은 것으로 컴퓨터기반 시험과 비교하여 SBT 시험에 대한 장점을 높게 인식하는 결과와 일치하였다[9].
학과별 학생들의 멀티미디어 문항의 효과에 대한 인식은 학과간 매우 유의한 차이(p=.000)를 보였는데 응급구조학과가 멀티미디어 문항의 효과에 대한 인식이 4.25로 가장 높았고, 다음으로 물리치료학과, 임상병리학과, 치위생학과, 방사선학과, 간호학과, 안경광학과 순이었다. 이는 2016년 9월에 전국 응급구조학과 재학생을 대상으로 시행된 SBT 모의시험 후 응시자를 대상으로 한 설문분석 결과[9]에서도 멀티미디어 문항의 효과에 대한 평균점수가 4.31로 멀티미디어 문항의 효과에 대해 긍정적으로 인식하는 것과 일치하는 결과를 보였다. 멀티미디어 문항의 효과에 대한 다른 연구는 태권도 지식검사에서 지필시험보다 멀티미디어형 검사정보매체를 활용했을 때 더 높은 정답률 및 평균점수를 얻었다고 보고하였으며[11] 멀티미디어형 시험 문항의 공정성과 안정성을 확인할 수 있는 연구[12]도 있다.
학생들은 멀티미디어 문항이 포함된 SBT 모의시험 참여 후 전반적으로 느낀 점이나 개선사항을 주관식으로 자유롭게 기술하도록 하여 조사한 결과, 총 162건의 의견이 제시되었는데 대부분 긍정의견과 함께 개선사항을 제시하였다. 분석결과는 149명인 92%가 긍정적으로 인식하고 있었고, 긍정의견 81.5%의 내용은 주로 시험 진행, 답안 마킹, 시험기기 등이 편리했다는 내용이었다. 이에 반해 부정적인 의견은 13명(8.0%)으로 소수였으나 내용으로는 ‘이유 없이 싫다’ 7명, ‘눈의 피로와 집중이 안 된다’는 의견이 3명 등이었다. 또한 긍정적 의견과 함께 개선사항으로 122건이 있었으며 가장 많은 개선사항으로 메모기능 개선이 필요하다고 지적하였다.
모의시험에 참여한 436명의 7개 학과 학생들을 대상으로 전공별로 100문항씩 같은 문항을 PBT와 SBT로 각각 시행한 이후 문항반응이론에 의거하여 문항을 비교분석한 결과 개발된 문항에 대한 난이도와 변별도는 PBT와 SBT시험 간 동일한 기준구간에 해당하여 시험유형별 문항난이도와 문항변별도에 큰 차이는 없었으며 문항에 대한 신뢰도는 난이도와 변별도 모두 두 시험유형 전체에서 Cronbach’α =.702∼.889로 비교적 높았다. 그러나 학과별로 문항난이도가 SBT시험에 비해 PBT가 더 높게 나타난 직종은 간호사, 물리치료사, 1급 응급구조사, 임상병리사, 치위생사 시험으로 학생들은 SBT에 비교적 PBT보다 쉽게 반응하여 현재와 같은 PBT의 국가시험을 SBT 체제로 변화하여도 문항반응의 차이는 거의 미미하다고 할 수 있어 쉽게 적응할 수 있을 것이다.
특히 1급 응급구조사 직종은 2017년 12월 초 SBT 국시체제로 국가시험을 최초로 시행하였는데 멀티미디어 5개 문항을 포함하여 총 230개 문항을 국시 전용으로 개발된 스마트 패드기기에 입력하여 SBT를 시행하였다. 시험결과를 분석한 국시원 자료[13]에 의하면 합격률은 이론시험에 1,775명이 응시하여 1,554명이 합격하여 91.0%의 합격률을 보였고 실기시험과 합하여 전체적인 합격률은 88.1%였다. 이는 2013년부터 2016년까지 지필시험으로 시행한 4년간 평균합격률 84.5%보다 3.6% 높은 결과로 본 연구결과에서도 나타났듯이 응급구조학과 학생들이 PBT에 비해 SBT에 쉽게 반응하였다는 것을 입증했다고 할 수 있다.
Ⅴ. 결론 및 제언
본 연구는 보건의료직종의 멀티미디어 문항을 포함한 SBT 국가시험 체제의 대한 타당성에 관한 연구로 한국보건의료인국가시험원의 연구비지원으로 2016년 7월부터 2017년 3월까지 약 9개월간 수행하였으며 현재 보건의료인국가시험을 스마트기기 기반 시험(SBT)체제로 시행하는 것을 국시원 정책으로 추진하고 있는 상황에서 보건의료직종별 SBT 국가시험 체제의 타당성에 대한 근거를 확인하고자 연구를 시행하였다.
본 연구를 통해 SBT 국시체제에 관하여 보건계 학과교수, 재학생 및 임상전문가 대부분 긍정적인 인식을 가지고 있음을 확인할 수 있었으며 모의시험을 통해 지필시험이나 SBT 방식에 따라 문항의 난이도나 변별도 및 신뢰도에 영향을 미치지 않음을 알 수 있어 보건의료인국가시험의 현재의 지필시험에서 향후 SBT 체제 변화에 대한 타당성을 확인하였다.
보건의료인국가시험은 해당 직종에 대한 면허 또는 자격을 부여하기 위해 시행하는 시험으로 각 직종별 국가시험은 실제 직무상황에서 문제해결 능력을 평가하여야 한다. 현재 지필시험은 문제해결능력보다는 직무 수행에 필요한 관련지식을 기억하거나 이해하고 있는지를 주로 평가하고 있어, 해당 직무의 실제성 또는 현실성을 반영하는 시험(authentic test)이 되기 위해서는 많은 변화가 필요한 실정이며 이에 대한 해결방안의 하나로 SBT 방식의 국가시험 체제를 도입하고 이를 활용한 멀티미디어 문항개발이 필요하다.
SBT 체제에서 구현할 수 있는 멀티미디어 문항은 현장의 문제해결능력을 평가할 수 있는 방법으로 지필시험의 한계요인을 극복할 수 있을 뿐 아니라 더 나아가 학교교육에서 현장 중심의 문제해결능력을 강화하는 방향으로 변화를 이끌어내도록 하는데 기여할 수 있을 것이다. 특히 실기시험을 자료 제시형으로 평가하고 있는 임상병리사, 방사선사, 물리치료사 직종에서는 별도의 실기시험을 멀티미디어 시험문항으로 대체하여 평가단계를 단일화시키면서도 각 직종에서 요구하는 임상현장 수행능력을 평가할 수 있는 기회가 될 수 있을 것이다.
따라서 본 연구는 보건의료인국가시험의 SBT체제로의 변화에 대한 타당성에 대한 근거를 제시할 수 있었으며 향후 SBT 체제의 도입을 위한 다음의 제언을 하고자 한다. 스마트 기기의 기능개선과 관련한 선행연구[14, 15]에서 지적한 대로 스마트기기의 특징인 모바일 컴퓨팅 기능을 활용하여 다양한 정보를 제공할 수 있도록 기능을 보다 편리하게 향상시켜야 함과 동시에 스마트 기기의 기술적 측면에서 앞으로 시험문항 탑재 등의 기능개선이 필요하며 본 연구결과에서 도출된 스마트 기기에 대한 개선사항을 적극 반영할 필요가 있다. 태블릿 PC형태의 스마트 기기는 아직 일부 사람들에게는 친숙하지 않아 낯설어 하는 경우가 많으며 스마트 기기 활용능력과 자심감과 같은 요인이 시험수행에 간섭요인으로 작용할 수 있다.
따라서 추후 연구에서는 스마트 기기 기능 개선과 기능 요인에 따른 성취도에 차이가 나타나는지에 대한 연구가 수행되어야 한다. 멀티미디어 문항개발을 위한 연구를 통해 멀티미디어형 문항의 정보전달성이 상대적으로 명확한 특징을 가지고 있기 때문에 보건의료인 국가시험에서 문자표현에 따른 정보전달의 난해성 감소를 기대해 볼 수 있고 타당성 높은 멀티미디어 문항으로 활용될 수 있을 것이다.