응급구조(학)과 학생들의 구급현장실습 표준 평가도구의 유용성에 관한 연구

A study on the usefulness of standard evaluation tools for ambulance ride practices of paramedic students

Article information

Korean J Emerg Med Ser. 2020;24(3):41-53
홍성기,orcid_icon
동남보건대학교 응급구조과
Department of Emergency Medical Technology, Dongnam Health University
* Correspondence to Sung-Gi Hong Department of Emergency Medical Technology, Dongnam Health University, 50, Cheoncheon-ro 74-gil, Jangan-gu, Suwon, Gyeonggi-do, 16328, Republic of Korea Tel: +82-31-245-6564 Fax: +82-31-249-6560 E-mail: emthong@dongnam.ac.kr

본 연구는 동남보건대학교 연구비 지원에 의하여 수행된 것임.

Received 2020 November 08; Revised 2020 December 16; Accepted 2020 December 18.

Trans Abstract

Purpose

This study tests the validity of a standard evaluation tool of ambulance ride practices with new evaluation items and supports its application by 119 preceptors.

Methods

We tested the validity of standard evaluation items collected from 19 on-site professionals assessing ambulance ride practices. New evaluation items, ‘understanding of emergency rescue equipment’ and ‘ability to communicate’, were added as additional criteria. The modified Delphi technique was used to test the three evaluation areas and ten evaluation items. We used the analytic hierarchy process to analyze the weighting value of the reconstructed evaluation tool model.

Results

All three evaluation areas and 10 evaluation items within the standard evaluation tools used for ambulance ride practices corresponded with the consistency index, degree of convergence, and agreement in the modified Delphi panel.

Conclusion

These results provide evidence of the consistency and usefulness behind preceptors’ use of this standard evaluation tool in ambulance ride practice.

Ⅰ. 서 론

1. 연구의 필요성

현장실습은 학생들의 진로 선택을 위한 경험과 환경을 제공하고 응급의료전문가의 역할에 대한 독립성을 촉진하는 등 학생들의 학습 과정에서 매우 중요한 역할을 제공한다[1]. 이러한 이유로 전국 대부분의 응급구조(학)과에서는 구급현장실습을 교육과정에 편성하여 운영하고 있다[2]. 구급현장실습은 응급구조학을 전공하고 있는 학생들이 학습한 이론과 술기를 병원 전 실무현장에서 응급처치 적용에 대한 관찰과 경험을 통해 현장대응능력을 함양하도록 하는 것이 목적이다[3]. 국내 응급구조(학)과를 중심으로 병원 밖 응급의료서비스 제공 단계에서 구급대원에게 요구되는 필수적이고 보편적인 역량에 대해 많은 관심을 갖고 그 중요성을 인식하게 되면서, 대학 교육과정에 구급대원의 직무분석 결과가 반영된 직무역량 기반의 현장중심 교육과정이 지속적으로 개발되고 있다[4]. 이러한 대학과 119구급서비스 현장 간의 연계는 현장 요구형 인재의 배출을 통한 병원 전 응급의료서비스의 발전에 필수적이다. 대학과 구급현장서비스의 관련자들은 현장실습 교육의 질을 높이기 위해 상생의 관계를 형성해야 하며 양질의 학습에 대해 상호 소통하면서 성공적인 현장실습을 위한 학생 지원과 발생 가능한 문제들을 조기에 식별하기 위한 메커니즘을 개발할 필요가 있다. 또한 현장실습의 질에 대한 지속적인 논의와 적절한 학생 평가를 통해 지속적인 개선 과정을 거쳐야 한다[5]. 현장실습의 학습성과를 달성하기 위해서는 관련 분야의 충분한 현장 경험과 전문역량을 갖춘 현장지도자의 참여하에 실습 지도가 이뤄져야 하며 대학의 현장실습 지도교수와 함께 공동의 책임하에 운영되어야 한다[6]. 응급구조학 교육에 있어 현장실습의 중요성이 더욱 강조되고 있는 만큼 국내 구급현장실습과 관련한 최근 연구를 살펴보면 프리셉터의 역할 및 제도와 직무역량을 연계한 질적 개선을 위한 논의와 연구가 지속적으로 이루어지고 있다[7,8]. 하지만 구급현장실습의 현장지도자에 의한 학생 대상의 평가체계에 대한 연구는 미비한 점이 있었다. 응급구조(학)과의 2차 교육과정 표준화 연구에 의하면 전국 응급구조(학)과 구급현장실습의 평가 기준과 평가도구가 대부분 일치하지 않아 동일 실습기관에서 대학마다 다른 평가기준을 적용하여 평가해야 하는 균질성의 문제로 현장실습지도자의 어려움이 있었다[2]. 학생의 현장실습을 평가하는 주체는 직접적으로 현장실습을 지도하고, 실무역량을 직접 관찰할 수 있는 사람이어야 한다. 이는 현장실습에 대한 평가가 1:1 실습을 지도하는 현장지도자에게 표준화된 평가기준을 통해 평가되어야 함[9]을 의미한다. 따라서 현장실습 평가는 실습과 교육을 연계하여 만들어진 지표를 통해 평가의 공정성과 일관성을 보장하고 더 깊은 수준의 논의와 배움이 이루어질 수 있도록 유도하는 역할을 해야 한다. 이러한 면에서 볼 때 구급현장에서 실습을 평가하는 평가도구는 이론적 지식을 실제 현장에 적용하는 실무역량과 함께 지식, 기술, 태도를 평가하는 내용이 반영되어야 한다[10]. 그동안 구급현장실습 평가도구들은 현장실습지도자가 평가하기가 곤란한 항목이 포함되는 등의 문제점이 있었고, 이는 실제로 현장실습지도자의 평가를 어렵게 하고 불공정한 평가를 유발하는 문제가 있다는 지적이 있었다. 이러한 문제점들은 응급구조(학)과 2차 교육과정 표준화 연구 과정에서 대학별 구급현장실습 운영 현황을 분석하고 실습기관 전문가 의견 및 자문을 통해 ‘구급현장실습 평가표’를 표준 평가도구로 활용할 것을 제안하였다[2]. 제안된 구급현장실습 표준 평가표의 평가항목들은 구급분야 전문가의 집단심층면접(Focus Group Interview; FGI)을 통해 의견일치 방식으로 도출하였으나 활용 단계의 검증에는 미흡함이 있었다. COVID-19 팬데믹으로 인한 구급현장실습이 미시행됨에 따라 평가항목에 대한 구급현장 실습지도자들의 유용성 확인에 더욱 어려움이 있었다. 구급현장실습의 현장지도자용 평가도구 개발을 시도한 연구는 찾아보기 어렵다. 이러한 현실을 감안하여 볼 때 현재 각 대학에서 사용하는 현장지도자용 학생 평가도구는 체계적인 개발·검증과정을 거쳐 신뢰도와 타당도가 확보된 도구라기 보다는 각 대학에서 단독 또는 임의적으로 개발한 도구를 이용하고 있을 가능성이 높다. 다행히도 이러한 문제를 보완하기 위해 응급구조사 2차 교육과정 표준화 연구의 현장실습 영역에서 개발하여 제시된 구급현장실습 표준 평가도구는 실제 현장지도자들이 학생지도 및 평가 시 대학별로 다른 평가도구가 아닌 표준화된 평가도구를 사용하여 평가의 일관성과 균질성을 유지하는데 도움이 될 것이다. 본 연구는 표준 평가도구가 신뢰도와 타당도를 갖추고 있는지 검증하고 추가적 평가항목의 도입 필요성은 없는지 확인하는 등 응급구조과 2차 교육과정 표준화 연구의 구급현장실습 표준에 대한 후속적 연구의 성격으로 의미가 있을 것이다.

2. 연구의 목적

응급구조(학)과 재학생의 구급현장실습의 현장실습지도자에 의한 신뢰성 있고, 균질적인 평가체계의 안착을 위해 2020년 응급구조(학)과 2차 교육과정 표준화 연구[2]의 구급현장실습 표준안으로 제안된 ‘구급현장실습 평가표’의 평가항목에 대한 수정 델파이 조사를 통해 그 유용성을 검증하고 안정적인 구급현장실습 평가에 활용할 수 있도록 근거를 제시하고자 한다.

Ⅱ. 연구방법

1. 연구대상 및 델파이 패널 선정

본 연구의 특성상 익명성을 보장하고 한 장소에 모이기 힘든 현장 전문가들의 의견과 판단을 도출하여 합의점을 찾아가면서 연구의 목적을 달성하기 위해 적합한 방법[11]으로 델파이 조사를 채택하였다. 델파이 조사를 위한 패널을 선정함에 있어 가장 중요한 고려사항은 전문성이다[12]. 본 연구에서는 구급현장 전문가로 1급응급구조사 자격 소지, 구급대원 경력 5년 이상, 구급현장실습 지도 유경험의 요건을 모두 충족하는 전문가를 델파이 패널로 선정하였다. 이 연구에서는 실제 구급차동승실습에서 활용하게 될 평가항목의 효용성을 검증하는데 초점을 두고 있는 관계로, 분석적 안목과 다양한 현장 경험 및 구급현장실습의 학생 지도 경험을 전문성 판단의 기준으로 설정하였다.

유관 기관의 추천을 바탕으로 전문가로서의 요건과 반복적 조사에 성실히 협조할 수 있는 여건성을 종합적으로 고려하여 패널 참여를 의뢰한 결과 참여에 동의한 최종 15개 시·도 소방본부 소속 19명의 전문가를 패널로 선정하였다. 최종적으로 확정된 패널은 <Table 1>과 같다.

General characteristics of Delphi panels

2. 연구절차 및 방법

본 연구의 델파이 조사는 2020년 5월 26일부터 7월 14일까지 2차에 걸쳐 시행되었다. 패널로 선정된 전문가들에게 ZOOM을 이용한 화상회의를 통해 연구목적과 연구방법 등에 대해 동의를 구한 뒤 전자우편을 통해 설문지를 배포하고 회수하였다. 본 연구는 2019년 3개의 응급구조학 직능 단체(전국응급구조(학)과 교수협의회, 한국응급구조학회, 대한응급구조사협회)의 공동 용역과제인 응급구조과 2차 교육과정 표준화 연구에서 구급현장실습 표준안으로 확정된 평가항목에 대한 유용성을 검증하는데 주된 목적이 있으므로 수정 델파이법(modified Delphi technique)을 활용하였다. 수정 델파이법은 Murray와 Hammons[13]에 의해 개발된 방법으로 이미 구조화된 설문도구를 활용하여 조사 절차를 2라운드로 줄이면서도 조사의 효율성을 높이고 타당도를 확보할 수 있는 장점을 가지고 있다.

1차 델파이 조사에서는 ZOOM(ZOOM.us) 화상회의를 통해 응급구조과 2차 교육과정 표준화 연구[2]에서 구급현장실습 평가표의 표준안으로 제시된 3개 범주의 평가영역과 10개의 평가항목<Table 2>에 대해 설명하고 의견조사를 시행한 뒤 평가항목의 중요성과 활용성에 대한 Likert 5점 척도로 구성한 설문 항목을 구성하였다.

Descriptive statistics, degree of convergence, degree of agreement, and content validity ratio of importance levels of standard evaluation item

표준 평가항목을 고려하지 않고 평가내용으로서의 중요성과 활용성을 고려하여 현장실습지도자가 평가자 시각에서 평가항목으로 적절하다고 생각되는 내용을 자유롭게 기술하도록 개방형 응답으로 구성하여 전자우편을 통해 자료를 수집하였다.

2차 델파이 조사에서는 1차 조사에서 수집된 패널의 의견을 반영하여 2차 델파이 조사 설문지 내용을 구성하였다. 2차 조사에서는 1차 응답 결과의 표준 평가항목별 평균, 중앙값, 사분위를 제시하였고, 개방형 응답은 질적자료분석 도구인 NVivo 12.0 프로그램을 이용한 텍스트 분석 결과를 통해 표준 평가항목에 맞게 단어화하여 추출한 58개의 텍스트(항목)를 제시하였다<Fig. 1>.

Fig 1

Text cloud of evaluation items using NVivo.

추출된 텍스트 항목의 유사성 및 일치도 확인 과정을 거쳐 2차 텍스트 분석을 시행하여 31개의 항목을 추출하였으며, 해당 항목과 가중률을 함께 제시하였다. 2차 조사에서는 추출된 항목에 대한 델파이 패널의 수렴화를 위해 전문가 3인 이상의 동의와 가중율의 우선순위를 만족하는 조건에 해당하는 15개의 항목을 선정하였다. 추출된 15개 항목에 대한 Nvivo 텍스트 분석 결과에서 가중율이 높게 나타난 항목 중 10개의 구급현장실습 표준 평가항목과 일치하지 않는 2개의 항목을 추가하여 재구조화한 평가도구 검증 모형을 제시하였고, 델파이 패널의 수렴, 동의 설문 문항을 구성하였다. 재구조화한 모형은 3개 평가영역, 영역별 4개의 평가항목으로 계층화된 모델로 지식 영역에서 1개 항목, 기술 영역에서 1개 항목을 추가하여 총 12개의 평가항목으로 구성하였다. 분석적 계층화방법(analytic hierarchy process; AHP)을 위해 3개 범주의 평가영역과 각 영역별 4개의 평가항목간 9점 척도의 쌍대비교표를 측정 도구화하여 2차 델파이 조사를 시행하였다. AHP 분석은 의사결정의 전 과정을 여러 단계로 나눈 후 이를 단계별로 분석 해석하여 합리적인 의사결정에 이를 수 있도록 지원해 주는 과학적인 의사결정 분석방법이다.

3. 자료 분석 및 결과의 해석

구급현장실습 평가도구로 응급구조과 2차 교육과정 표준화 연구[2]에서 제시된 10개의 평가항목에 대한 중요도를 파악하기 위해 SPSS ver. 21.0과 EXCEL을 사용하여 평균, 표준편차, 사분위수, 중앙값에 대한 빈도분석을 통해 내용타당도 비율(content validity ratio, CVR)값을 산출하였다. CVR 기준치는 Lawshe[14]가 제시한 기준에 따라 델파이 패널 수가 19명이므로 0.49 이상으로 하였다. 델파이 패널의 의견수렴 정도는 수렴도(degree of convergence)와 합의도(degree of agreement)를 확인하게 되는데 수렴도는 그 값이 0.5 이하의 범위에 있으면 의견이 수렴되었다고 여기고, 합의도는 0.75 이상이면 패널들 간의 합의가 이루어진 것으로 판단한다[14]. 개방형 응답은 NVivo 12.0 프로그램을 이용하여 텍스트 가중율 분석을 시행하였다. 가중률은 개방형 평가항목에 맞춰 단어화된 텍스트의 빈도를 바탕으로 산출되며 가중율이 높을수록 수렴도가 높음을 의미한다. 재구조화한 평가도구 모형의 가중치 분석을 위해 AHP 분석을 시행하였으며 3개의 지식, 기술, 태도 영역과 각 영역별 4개의 상대적 가중치와 종합 가중치를 산출하여 평가영역 및 평가항목간의 우선순위를 확인하였다. AHP 기법은 델파이 패널의 의사결정 과정에 상호 관련성을 갖는 요소들을 계층화하여 쌍대비교한 다음 추정된 요소들간의 상대적 가중치에 근거하여 의사결정을 하는 분석 방법이다. 쌍대비교를 위해서 Saaty[15]가 제안한 9점 척도 쌍대비교표를 적용하여 가중치를 분석하였고, 패널들의 응답 일관성을 판단하는 일관성 지수(consistency index, CI)를 통해 분석 결과의 타당성을 확보할 수 있다. CI 값이 0.1 미만이면 일관성이 있는 것으로 판단할 수 있다.

Ⅲ. 연구결과

1. 표준 평가항목의 중요수준에 대한 타당도

구급현장실습 표준 평가도구의 영역과 각 평가항목의 중요성에 대한 Delphi 패널의 의견일치는 <Table 2>와 같다. 각 영역별 평가항목에 대한 중요수준은 평균 3.5 이상으로 구급현장실습 표준 평가도구의 평가항목을 지지하는데 적합한 것으로 나타났다. 내용타당도의 경우 3개의 영역 10개 평가항목 중 8개의 평가항목에서 .49 이상으로 유의하였으나, 평가항목 중 ‘질병과 손상에 대한 이해’는 .26, ‘처치 준비 및 처치과정의 도움’은 .05로 내용타당도 기준은 충족하지 못했다. 하지만 수렴도는 .50 이하, 합의도는 .75 이상으로 나타나 모든 평가항목이 구급현장실습 평가를 위한 중요한 구성 항목으로 적합하였다<Table 2>.

2. 표준 평가항목의 활용수준에 대한 타당도

구급현장실습 표준 평가도구의 영역과 각 평가항목의 활용성에 대한 Delphi 패널의 의견일치는 <Table 3>와 같다. 각 영역별 평가항목에 대한 활용도 수준은 평균 3.5 이상으로 구급현장실습 평가도구의 평가항목에 대한 활용 측면에서 적합성이 있었다. 내용타당도의 경우 3개의 영역 10개 평가항목 중 8개의 평가항목에서 .49 이상으로 유의하였으나, 평가항목 중 ‘질병과 손상에 대한 이해’는 .16으로 내용타당도 기준을 충족하지 못했다. 하지만 수렴도는 .50 이하, 합의도는 .75 이상으로 나타나 모든 평가항목이 구급현장실습 평가를 위한 활용적 구성 항목으로 적합하였다<Table 3>.

Discriptive statistics, degree of convergence, degree of agreement, and content validity ratio of importance levels of standard evaluation item

3. Delphi 패널에 의해 추가된 평가항목의 NVivo 가중률과 우선순위

구급현장실습 표준 평가항목을 포함한 Delphi 패널이 중요하게 생각하는 평가항목에 대한 자유서술형 의견을 정성적 분석도구인 NVivo를 활용하여 Delphi 의사결정 시 3명 이상의 의견일치가 있을 경우, 전체 패널의 동의에 따라 공통의견으로 채택할 수 있으므로 NVivo 프로그램에 의해 3회 이상 추출된 15개의 텍스트 항목과 가중율을 기준으로 우선순위가 가장 높았던 항목은 ‘실습태도와 의사소통(8.46)’이었으며 ‘실습일지(6.92)’ , ‘구급장비 활용, 성실성, 적극성(6.15)’ 등의 순이었다<Table 4>. 15개의 평가항목 중 표준 평가항목과 일치하는 항목은 12개 항목이었다. 특히 ‘의사소통’과 ‘구급장비 활용’은 표준 평가항목에는 포함되지 않은 항목이지만 가중율이 높게 나타난 중요한 평가항목이었다.

Analysis of words and weighted percentage of evaluation items by open response

4. Delphi 조사 결과에 따른 재구조화된 평가항목의 AHP 분석 결과

Delphi 의견 일치화를 거쳐 NVivo 텍스트 가중율이 높게 나타난 2개의 추가 평가항목과 표준 평가항목을 재구조화한 모델의 AHP 가중치(중요도) 분석 결과는 <Table 5>와 같았다. 구급현장실습 표준 평가도구를 재구조화한 모델의 계층구조에서 표준 평가영역인 지식, 기술, 태도 영역의 중요도는 태도 영역(.588)이 가장 큰 가중치를 보여 상대적으로 중요한 것으로 나타났고, 평가영역별 Delphi 패널의 일관성지수(CI)는 지식은 .008이었고, 기술은 .020, 태도는 .038이어서 모든 영역에서 신뢰성이 있었다. 3개의 평가영역별 각각의 평가항목 중 Delphi 패널로부터 높은 가중치를 부여받은 평가항목은 지식 영역에서는 ‘질병과 손상에 대한 이해(.262)’였으며, 기술 영역은 ‘활력징후 측정 등의 환자평가(.578)’가 상대적 가중치가 높았고, 태도 영역은 ‘적극적인 실습태도(.503)’의 상대적 가증치가 높았다<Table 5>. 3개 평가영역의 12개 평가항목에 대한 종합 가중치의 우선순위를 중심으로 살펴본 결과, Delphi 패널로부터 가장 높은 가중치를 부여 받은 평가항목은 ‘적극적인 실습태도(.296)’였고, ‘활력징후 측정 등의 환자평가(.187)’, ‘안전 및 감염예방 지침 준수(.187)’의 순이었다.

The weight of rank the re-structured evaluation Items induced by AHP

Ⅳ. 고 찰

구급현장실습은 응급구조(학)과 학생의 실무경험 및 현장 대응역량 증진에 필수적인 교육과정이다. 구급현장실습의 성공적 수행과 질 관리를 위해서는 프리셉터라 불리는 현장실습지도자들에 의한 공정성 있는 평가가 이루어져야 하며 현장지도자가 활용할 수 있는 신뢰도와 타당도가 확보된 평가도구가 필요하다. 각 대학의 응급구조(학)과가 동일한 구급현장실습 목표를 설정하여 동일 실습기관에서 실습을 운영하고 있음에도 신뢰도와 타당도를 확인할 수 없는 평가도구를 독립적으로 사용해 오면서 구급현장 실습지도자들에게 평가의 혼란을 초래하고 균질성을 저해하는 요인이었다. 다행히도 이러한 문제점을 인식하여 2019년 응급구조(학)과 관련 3개의 직능 단체의 공동 용역과제로 응급구조(학)과 2차 교육과정 표준화 연구[2]가 시행되었고, 이 연구의 세부과제인 구급현장실습 표준안으로 구급현장실습 표준 평가도구가 개발되어 각 대학에서 구급현장실습 시 활용하도록 하였다. 본 연구는 표준 평가도구로 제안된 평가항목들이 구급현장실습지도자가 평가도구로 활용하는데 타당한지 확인하여 평가의 공정성과 형평성을 갖추고, 응급구조(학)과 2차 교육과정 표준화 연구의 구급현장실습 표준 평가도구의 타당성을 검증하는 후속연구의 성격이 있다.

구급현장실습 표준 평가도구는 3개의 평가영역인 지식, 기술, 태도로 구분되어 있다. Joel 등[16]은 임상실습 평가의 목표로 알고 있는 지식을 활용할 줄 알아야 하며, 알고 있는 지식을 활용하여 술기와 적절한 태도로 환자로부터 충분한 정보를 얻어내는 자질(competence)을 갖추는 것이라 하였다. 이와 같이 지식, 기술, 태도는 대부분의 보건의료 분야의 임상실습이나 현장실습의 평가요소로 사용되고 있다[17,18].

본 연구에서 구급현장실습지도자의 학생 평가도구로서의 10개의 표준 평가항목은 현장 전문가에 의한 델파이 조사에서 모든 항목의 수렴도는 .50 이하, 합의도는 .75 이상이어서 신뢰할만한 중요한 평가항목으로 확인되었다. 이는 응급구조과 2차 교육과정 표준화 연구[2]의 구급현장실습 표준 평가표의 평가항목이 적절히 도출되었음을 의미한다.

다만 평가항목 중 ‘질병과 손상 등에 대한 충분한 이해력’과 ‘현장처치 준비 및 처치과정에 대한 도움’ 평가항목은 내용타당도가 .49 이하였다.

‘질병과 손상 등에 대한 충분한 이해력’은 영역은 다르지만 Kwak과 Oh[10]의 임상간호실습 평가도구 개발 연구에서 임상현장에서 실습을 평가하는 평가도구는 이론적 지식을 실제 임상현장에 적용하는 실무역량에 초점을 맞춰야 하지만 이론적 지식에 대한 평가는 현장실습지도자의 주관성이 상대적으로 높으므로 이를 활용하는데 한계점이 있을 수 있다고 지적한 바와 같은 맥락이다.

하지만 Kim 등[17,18]은 실무역량 평가라는 현장실습의 목적 달성을 위해서는 다소 주관적 평가항목이지만 다수의 현장지도자가 함께 평가한다면 보완할 수 있는 문제로 충분한 활용 가치가 있다고 보았으므로 해당 평가항목을 활용하여 평가의 신뢰성을 높이기 위해서는 복수의 평가자가 평가하는 것이 권장되어야 할 것이다.

본 연구에서 10개의 표준 평가항목과 중복되지 않는 추가 평가항목으로 Delphi 패널로부터 2개의 가중율이 높은 평가항목이 도출되었다. 그 2개의 평가항목은 ‘의사소통 능력(8.46)’과 ‘구급장비 활용(6.15)’으로 재구조화된 AHP 분석에서도 2개 항목 모두 Delphi 패널의 일관성지수(CI)를 충족하였고 평가항목으로 적합한 것으로 확인되었다. Kim[19]은 의사소통술은 대인관계능력과 팀웍 능력을 평가하는데 중요한 평가항목으로 보았고, Yang[20]은 의학적 지식과 수기 못지않게 의과대학생들이 갖추어야 할 역량으로 의사소통 기술을 포함해야 한다고 했다.

Wongtongkam과 Brewster[1]의 연구에서, 호주의 응급구조학을 전공하는 학생의 임상실습에서 의사소통 기술을 통해 새로운 환경에 대한 적응과 기술을 이해할 수 있다고 한 바와 같이 대상의 범위는 다를 수 있으나 의사소통 능력은 응급의료를 담당하게 될 응급구조(학)과 학생들에게도 필요한 역량이므로 의사소통을 평가항목으로 활용하는 것을 고려해 보아야 할 것이다.

또한 추가 평가항목으로 도출된 ‘구급장비 활용’은 구급현장실습의 특수성이 반영된 평가항목으로 구급차 동승실습 과정 중 현장지도자에 의해 주로 교육과 훈련이 이루어지게 되므로 평가항목으로서 의미가 있을 것이다. 이는 실제 Choi[7]의 연구에서 제언한 것처럼 구급차동승실습 프리셉터의 역할과 책임이 주어진다면 기술 영역의 평가항목으로 활용성이 높을 것이다. O’Brien[21]의 연구에 따르면 호주와 영국의 구급대 실습과정에서 표준화된 술기 실습프로그램의 항목 중 응급처치 장비 사용능력을 평가항목으로 활용하고 있으나 국내 구급현장실습에서는 표준화된 실습프로그램이 없고 이를 평가할 수 있는 준거가 마련되어 있지 않은 관계로 실습 평가항목에 술기 능력을 평가하는데 한계가 있을 것이다. 이를 보완하기 위해서는 현재의 현장실습지도자가 자율적으로 기술 영역의 평가를 시행하고 있는 상황에 대한 개선적 차원에서 응급구조(학)과 2차 교육과정 표준화 연구에서 제시된 구급현장실습 표준안을 실습기관과 협의하여 표준화된 구급현장실습 내용을 발굴하고 이를 바탕으로 기술 영역의 평가항목과 평가준거를 마련하는 등 체계성을 갖추어야 할 것이다.

본 연구에서 구급현장실습 평가도구의 3개 범주의 표준 평가영역에 대한 가중치 결과와 재구조화한 12개의 평가항목 간의 종합 가중치 결과를 종합했을 때 평가영역 중 ‘태도’가 구급현장실습 과정 중 실습지도자들이 중요하게 여기는 평가요소로 해석할 수 있으며 이는 현장실습에 참여하는 학생들에게 의미있는 시사점을 제공할 수 있을 것이다. 더불어 현장실습에 대한 평가는 태도나 현장술기와 같은 무형의 능력을 평가해야 하므로 적정한 수준의 평가 기준과 평가준거가 명확해야 한다[18]. 따라서 표준 평가도구로 제시된 각 평가항목에 대한 현장지도자들의 평가 오차를 줄이기 위해 각 평가항목에 대한 세부적인 평가 준거 마련이 필요할 것이다.

Ⅴ. 결 론

응급구조(학)과 2차 교육과정 표준화 연구의 구급현장실습 표준 평가도구서 제안된 3개 범주의 평가영역과 10개의 평가항목은 Delphi 조사에서 패널들의 숙의 과정을 거친 결과 수렴도와 합의도의 기준을 충족하였고, 전반적으로 신뢰성과 타당성을 갖춘 것으로 나타나 구급현장실습 시 실습지도자들이 활용하는데 의미있는 근거를 마련할 수 있다. 다만 수렴도와 합의도의 기준은 충족했으나 내용타당도 기준을 충족하지 못한 지식 영역의 ‘질병과 손상 등에 대한 이해’와 기술 영역의 ‘처치 준비 및 처치과정의 도움’에 대한 평가항목은 구급현장지도자들에 의한 평가의 용이성을 고려하여 본 연구에서 추가 평가항목으로 델파이 패널에 의해 신뢰도와 타당도가 검증된 ‘구급장비에 대한 이해’와 ‘의사소통 능력’으로 대체 가능할 것이다.

References

1. Wongtongkam N, Brewster L. Effects of clinical placements on paramedic students'learning outcomes. Asia Pacific Journal of Health Management 2017;12(3):24–31. https://doi.org/10.24083/apjhm.v12i3.55.
2. Council of professors of the department of emergency medical technology, The Korea society of emergency medical services, Korean association of emergency medical technician. A study on standardization of secondary curriculum in the department of emergency medical technology. South Korea 2020;2:2019–01.
3. Choi ES. Influencing factors on satisfaction of field instructor in ambulance ride practice of paramedic students. Korean J Emerg Med Ser 2013;17(3):101–13. https://doi.org/10.14408/KJEMS.2013.17.3.101.
4. Hong SG, Koh BY, Lee JE. Curriculum development and operation methods based on national competency standards (NCS) in the department of emergency medical technology. Korean J Emerg Med Ser 2015;19(2):83–97. https://doi.org/10.14408/KJEMS.2015.19.2.083.
5. McCall L, Wray N, Lord B. Factors affecting the education of pre-employment paramedic students during the clinical practicum. Australasian J Paramedicine 2009;7(4):990334. https://doi.org/10.33151/ajp.7.4.189.
6. Lee SH, Kim MH, Lee JS, Kim JI. Comparison of perceived importance and performance of the preceptor's role between nursing students and preceptor nurses. The J Korea Contents Association 2012;12(12):291–303. https://doi.org/10.5392/JKCA.2012.12.12.291.
7. Choi ES. Recognition and acceptance concerning the introduction of preceptorship to the ambulance ride practice. Korean J Emerg Med Ser 2014;18(1):67–81. https://doi.org/10.14408/KJEMS.2014.18.1.067.
8. Kim EA, Cho KJ. A study on the preceptor role awareness of senior 119 paramedics in the field. Korean J Emerg Med Ser 2019;23(1):19–33. https://doi.org/10.14408/KJEMS.2019.23.1.019.
9. Im EJ. Developing and testing an evaluation tool to measure clinical teaching. Korean J Med Educ 2011;23(1):49–59. https://doi.org/10.3946/kjme.2011.23.1.49.
10. Kwak EM, Oh HY. Development and psychometric testing of the clinical nursing competency scale for clinical preceptor use. J Korean Acad Nurs 2018;48(4):419–31. https://doi.org/10.4040/jkan.2018.48.4.419.
11. Lee CS. Delphi method Gyoyukgwahaksa, Seoul: 2001. p. 21–45.
12. Im EA, Son KC, Kam JK. Development of elements of horticultural therapy evaluation indices (HTEI) through delphi method. Korean J Hort Sci Technol 2012;30(3):308–24. https//doi.org/10.7235/hort.2012.12037.
13. Murry Jr JW, Hammons JO. Delphi:A versatile methodology for conducting qualitative research. Rev High Ed 1995;18(4):423–36.
14. Lawshe CH. A quantitative approach to content validity. Pers Psychol 1975;28(4):563–75.
15. Saaty TL. Highligt and critical points in the theory and application of the analytic hierarchy process. Eur J Oper Res 1994;74(3):426–47. https://doi.org/10.1016/0377-2217(94)90222-4.
16. Appel J, Friedman E, Fazio S, Kimmel J, Whelan A. Educational assessment guidelines:A clerkship directors in internal medicine commentary. Am J Med 2002;113(2):172–9. https://doi.org/10.1016/s0002-9343(02)01211-1.
17. Kim YI, Lee YD, Oh JH, Choi IS, Chah H, Lee ED, et al. Development of an evaluation baseline module for clinical clerkship:Gachon Medical School experience. Korean J Med Educ 2003;15(2):131–9. https://doi.org/10.3946/kjme.2003.15.2.131.
18. Kim MS, Kim IY, Bae KS, Han AR, Kim DS, Yoo SY. Effect after change of evaluation method in surgical clerkship program. Korean J Med Educ 2003;15(3):221–31. https://doi.org/10.3946/kjme.2003.15.3.221.
19. Kim KH. Is The Assessment of knowledge, skills, and attitudes in anesthesiology clerkships balanced? Korean J Med Educ 2003;15(3):213–9. https://doi.org/10.3946/kjme.2003.15.3.213.
20. Yang EB. Teaching and learning communication skills in medical education. Korean J Med Educ 2008;20(2):99–107. https://doi.org/10.3946/kjme.2008.20.2.99.
21. O'Brien K, Moore A, Dawson D, Hartley P. An Australian story:Paramedic education and practice in transition. Australasian Journal of Paramedicine 2014;11(3)https://doi.org/10.33151/ajp.11.3.14.

Article information Continued

Table 1

General characteristics of Delphi panels

General characteristics Categories n %
Gender Male 11 57.9
Female 8 42.1

Age (years) ≥29 years old 2 10.5
30-39 years old 10 52.6
40-49 years old 6 31.6
≤50 years old 1 5.3

Working area Special city 2 10.5
Metropolitan city 7 36.8
Province 10 52.6

Certification or license Paramedic 19 100.0

Workplace 119 EMS* center 6 31.6
119 Fire station 10 52.6
Fire service academy 3 15.8

Rank of position Senior fire firefighter 7 36.8
Fire sergeant 6 31.6
≥ Fire lieutenant 6 31.6

Career(Mean±SD) Work career average(month) 11.69±3.83
Field practicum guidance career average(count) 11.05±6.09
*

Emergency medical Service

Table 2

Descriptive statistics, degree of convergence, degree of agreement, and content validity ratio of importance levels of standard evaluation item

Category Standard evaluation Item Importance level

M SD Med Ax By CVRz
Knowledge Pre-knowledge required for field training 4.37 .60 4.00 .50 .75 .89

A sufficient understanding of a disease or injury 3.84 .76 4.00 .50 .75 .26

Understanding important knowledge learned during field training 4.37 .68 4.00 .50 .75 .79

Skill Assistance for emergency activities such as field first aid 3.58 .77 4.00 .50 .75 .05

Appropriate patient assessment capabilities, such as vital signs 4.26 .73 4.00 .50 .75 .68

Fidelity to the preparation of PCR* and reports 4.11 .74 4.00 .50 .75 .58

Attitude Compliance with regulations for safety and prevention of infection 4.63 .60 5.00 .50 .80 .89

Diligence and notion of time during field practice 4.58 .77 5.00 .50 .80 .68

Decent appearance, dress and speech 4.32 .67 4.00 .50 .75 .79

Active practice attitude 4.53 .70 5.00 .50 .80 .79
*

Pre-hospital care report

A: Degree of convergence, B: Degree of agreement, CVR: Content validity ratio

x

The closer to 0, the more valid.

y

The closer to 1, the more valid.

z

Valid when the value is 0.49 and over.

Fig 1

Text cloud of evaluation items using NVivo.

Table 3

Discriptive statistics, degree of convergence, degree of agreement, and content validity ratio of importance levels of standard evaluation item

Category Standard evaluation item Applicability level

M SD Med Ax By CVRz
Knowledge Pre-knowledge required for field training 3.68 .67 4.00 .50 .75 .50

A sufficient understanding of a disease or injury 3.53 .77 4.00 .50 .75 .16

Understanding important knowledge learned during field training 4.16 .76 4.00 .50 .75 .58

Skill Assistance for emergency activities such as field first aid 4.16 .69 4.00 .50 .75 .68

Appropriate patient assessment capabilities, such as vital signs 4.37 .76 5.00 .50 .80 .68

Fidelity to the preparation of PCR* and reports 4.32 .75 4.00 .50 .75 .68

Attitude Compliance with regulations for safety and prevention of infection 4.32 .67 4.00 .50 .75 .79

Diligence and notion of time during field practice 4.32 .75 4.00 .50 .75 .68

Decent appearance and dress, speech 4.58 .51 5.00 .50 .80 1.11

Active practice attitude 4.37 .68 4.00 .50 .75 .79
*

Pre-hospital care report

A: Degree of convergence, B: Degree of agreement, CVR: Content validity ratio

x

The closer to 0, the more valid.

y

The closer to 1, the more valid.

z

Valid when the value is 0.49 and over.

Table 4

Analysis of words and weighted percentage of evaluation items by open response

Item(word) Count Weighted percentage (%) Rank
Practice attitude* 11 8.46 1

Communication 11 8.46 1

Practice report* 9 6.92 2

Use of emergency equipment 8 6.15 3

Sincerity* 8 6.15 3

Active personality* 8 6.15 3

Understanding of emergency services* 6 4.62 4

Compliance with practice regulations and rules* 6 4.62 4

Patient evaluation* 6 4.62 4

Vital signs* 6 4.62 4

Safety awareness* 5 3.85 5

Skill performance 4 3.08 6

Practice clothes* 4 3.08 6

Infection prevention* 3 2.31 7

Understanding of field treatment* 3 2.31 7
*

A word that matches a standard evaluation item

Table 5

The weight of rank the re-structured evaluation Items induced by AHP

Category (weight) CI* Standard evaluation item Local weight (rank) Global weight (total rank)
Knowledge (0.089) .008 Pre-knowledge required for field training .142 (4) .013 (12)

A sufficient understanding of a disease or injury .443 (1) .039 (7)

Understanding important knowledge learned during field training .262 (2) .023 (10)

Understanding how to use emergency equipment .153 (3) .014 (11)

Skill (0.323) .020 Assistance for emergency activities such as field first aid .080 (4) .026 (9)

Appropriate patient assessment capabilities, such as vital signs .578 (1) .187 (2)

Fidelity to the preparation of PCR and reports .156 (3) .050 (6)

Ability to communicate smoothly .186 (2) .060 (5)

Attitude (0.588) .038 Compliance with regulations for safety and prevention of infection .286 (2) .168 (3)

Diligence and notion of time during field practice .153 (3) .090 (4)

Decent appearance and dress, speech .058 (4) .034 (8)

Active practice attitude .503 (1) .296 (1)
*

Consistancy index

Evaluation items selected by the Delphi panel