문항반응이론을 활용한 응급구조학과 학생들의 입학동기와 입학전형별 학업성취도 분석

Analysis of academic achievement of paramedic students based on admission motivation and admission type: An item response theory approach

Article information

Korean J Emerg Med Ser. 2025;29(2):19-33
Publication date (electronic) : 2025 August 31
doi : https://doi.org/10.14408/KJEMS.2025.29.2.019
이정은1orcid_icon, 문준동2,orcid_icon, 김아정3orcid_icon
1 동남보건대학교 응급구조학과 교수
1 Professor, Department of Paramedicine, Dongnam Health University
2 국립공주대학교 응급구조학과 교수
2 Professor, Department of Emergency medical service, Kongju National University
3 경일대학교 응급구조학과 교수
3 Professor, Department of Paramedicine, Kyungil University
* Correspondence to Jun-Dong Moon Department of Emergency medical service, Kongju National University, Gongjudaehak-ro 56(Singwan-dong 182), Gongju-si, Chungcheongnam-do, Republic of Korea Tel: +82-41-850-0332 Fax: +82-41-850-0331 E-mail: jdm02@kongju.ac.kr

본 연구는 동남보건대학교 연구비 지원에 의해 수행된 것임.

Received 2025 June 25; Revised 2025 August 15; Accepted 2025 August 14.

Trans Abstract

Purpose:

This study aimed to evaluate the academic achievement of paramedic students based on admission motivation and admission type using Item Response Theory (IRT).

Methods:

A total of 68 third-year paramedic students participated in a mock national licensing examination. A two-parameter logistic IRT model was used to assess item discrimination and difficulty. A kernel density map was used to visualize the distribution of ability levels across different subgroups.

Results:

Item characteristics often did not align with students’ ability levels, suggesting room for improvement. Students admitted based on personal recommendations or aptitude demonstrated higher academic achievement, whereas transfer students had lower scores on advanced subjects.

Conclusion:

IRT-based analysis provided detailed insights into academic performance according to students’ background factors. The findings support the use of IRT to enhance educational assessments, inform curriculum development, and tailor individualized learning strategies.

I. 서 론

1. 연구의 필요성

1) 연구의 필요성

응급구조사는 응급상황 발생 시 신속하고 적절한 처치와 효과적인 이송을 통해 환자의 예후를 향상시키는 핵심적인 응급의료 인적자원이다. 최근에는 현장 및 병원에서의 업무 범위가 확장되는 등 응급의료체계 내에서 응급구조사의 역할이 병원전 단계에서의 현장 응급처치뿐 아니라 병원 내 환자 중증도 분류 및 전원 결정 등 보다 전문적인 판단을 요구받는 방향으로 확장되고 있고, 이러한 업무를 수행하기 위해서는 고도화된 전공 지식과 술기 역량이 요구된다[1]. 이러한 역할 변화는 응급구조사 양성을 위한 교육과정의 질적 향상과 학습자의 실질적 역량 강화를 요구하고 있으며, 이에 따라 교육과정의 성과인 학업성취도를 객관적이고 정밀하게 측정하는 평가체계가 더욱 중요해지고 있다고 할 수 있다.

교육에서 역량중심 접근이란 미래 직무수행에 필요한 실질적인 지식, 술기 그리고 태도를 중심으로 교육체계를 재구조화해야 한다는 것으로 학습자를 중심으로 실무 역량을 기르는 것을 목표로 한다[2]. 따라서 역량중심 교육에서 객관적인 평가자료를 통해 학업성취도를 구체적이고 다면적으로 평가하고 분석하는 것은 응급구조(학)과 학생들이 응급구조사로서 필수적인 역량을 갖추었는지 검증할 수 있는 중요한 과정이라 할 수 있다[3].

학업성취도는 다양한 개인 내적 요인과 환경적 조건의 영향을 받는다. 최근 연구에 따르면, 정의적 특성과 같은 개인 내 요인은 학습 몰입과 동기 형성에 중요한 영향을 미치며, 이는 학업성취로 직접적으로 관련될 수 있다[4]. 또한, 개별화된 학습 경험은 학습자의 흥미와 적성을 반영하여 학습 효율성을 높이는 데 기여하며, 특히 교육의 형평성을 증진시키는 수단으로 주목받고 있다[4]. 이와 함께, 사회인구학적 특성 또한 학업성취도와 밀접한 관련이 있으며, 성별에 따른 학업성취 격차는 다수의 교육심리학 연구에서 반복적으로 보고되어 왔다[5]. 이중 입학동기는 경제적 배경이나 지역 등 주어진 특성이나 관찰이 어려운 정의적 특성이 아니라 학생이 자신의 진로를 능동적으로 선택한 결과로 주체성과 동기수준, 준비도 등을 간접적으로 보여준다. 또한 입학유형은 선발방식과 관련된 교육 접근성과 평가기준의 차이를 반영하기 때문에, 이들 요인이 학업성취도에 미치는 영향에 대한 분석은 교육의 형평성과 맞춤형 지원 전략 수립에 중요한 기초자료가 될 수 있다. 특히 입학 전형 유형 및 전과 배경은 보건의료 분야 교육에서 학업 성공에 영향을 미치는 중요한 변인으로 확인되었으며[6], 이는 입학 이후의 교육 적응과 학업 역량 형성에까지 영향을 미치는 것으로 해석된다.

응급구조학 학생을 대상으로 한 연구에서 학업성취도는 자기주도학습 능력이나 자기효능감[7], 전공 만족도[8] 등 다양한 요인과 밀접한 관련이 있으며, 교수법의 혁신적 도입[9]도 긍정적 영향을 미치고 있는 것으로 나타났다. 입학 동기 및 입학 유형(정시/수시 등)이 학업성취도에 미치는 영향에 대한 연구는 아직 제한적이나, 간호대학생을 대상으로 한 연구에서 입학 초기 성취도 및 대학적응도에서 유의한 차이가 나타난다는 보고가 있다[10,11]. 그러나 위 선행연구의 학업성취도 분석은 대부분 학점이나 시험점수의 총점과 평균에 의존하여 이에 영향을 미치는 요인분석이나 정의적 특성에 대한 자가보고형 설문과 학점평균 간의 상관관계 분석에 등에 초점을 맞추고 있었다. 이로 인해 학업성취도를 다면적으로 분석하기보다는 관련 요인을 규명하는 데 그쳤으며, 이러한 접근은 실증적인 결과에 기반하여 자료를 도출하고 이를 교육과정 개선에 직접적으로 활용하기에는 제한적이였다. 한편 문항반응이론(Item response theory, IRT)은 피험자 집단의 특성에 영향을 받지 않으며 문항의 변별도와 난이도 등 고유한 특성을 독립적으로 추정함으로써 수험자의 능력을 보다 정확히 측정할 수 있어[12,13] 정밀한 학업성취도 분석이 가능하다. 따라서 시험의 공정성과 타당성을 개선할 수 있는 근거를 제시하여 교육과정 재설계[14], 교수 피드백 강화[3] 등 교육과정 전반의 개선 작업에 더 객관적인 자료를 제공할 수 있다. 또한 문항반응이론을 통해 단순히 수치 기반의 분석에 그치지 않고, 개별 문항과 학생 집단의 능력 분포를 직관적으로 확인하고 해석할 수 있는 라이트지도(Wright map)와 학생집단의 역량분포를 확률밀도함수 형태로 시각화한 커널밀도지도(Kernel density map)를 활용하여 학생들의 학업성취도를 비교, 분석할 수 있다[14]. 이러한 이점으로 최근에는 교육학, 의학교육, 심리측정 등 다양한 분야에서 문항반응이론 활용한 평가와 문항분석이 이루어지고는 있으나, 이를 학업역량측정에 활용한 예는 한의학과 학생을 대상으로 한 연구[2]에서 문항반응이론을 활용한 학업역량 특성 분석이 일부 수행된 바 있으며, 응급구조학 분야에서는 문항반응이론을 적용한 학업성취도 분석이 아직 활발히 이루어지지 않고 있으며, 특히 학생의 입학배경 요인에 따라 학업성취의 차이를 분석한 연구는 매우 제한적이다.

이에 본 연구는 문항반응이론을 활용하여 응급구조학과 재학생의 모의국가시험 응답을 분석하고, 입학동기 및 입학전형 유형에 따른 학업성취도의 차이를 정량적으로 탐색하고자 한다. 이를 통해 문항반응이론 기반의 문항분석 및 능력 분포 시각화 기법이 응급구조학 교육 현장에서 학업성취도 평가 및 교육과정 개선에 기여할 수 있는 가능성을 검토하고자 한다.

2) 연구 목적

본 연구는 문항과 피험자에 따른 특성이 변하지 않음을 특징으로 하는 문항반응이론을 적용하여 응급구조학과 학생들을 대상으로 입학 동기와 입학전형별 학업성취도를 구체적으로 분석하고, 교육적 개선 역할의 가능성을 검토해보는 것을 목적으로 한다.

구체적인 연구 목적은 다음과 같다.

(1) 입학 관련 특성을 파악한다.

(2) 학업성취도를 분석한다.

(3) 입학동기와 입학전형별 학업성취도를 분석한다.

II. 연구방법

1. 연구설계

본 연구는 응급구조사 국가시험 대비 모의시험 결과를 이용하여 문항반응이론을 적용하여 분석한 단면연구이다.

2. 연구대상 및 자료수집 방법

1) 연구대상 및 절차

경기소재 D대학 응급구조학과 3학년 68명이 대상으로, 모의국가시험 답안을 대상으로 이용하였다. 모의시험은 2024년 11월에 실시되었으며 대상 학생의 입학유형(수시/정시/편입과 정원내/정원외)과 입학동기에 대한 정보는 대상 학생의 동의를 얻어 설문지로 자료를 수집하였다. 모의시험은 응급구조사 1급 국가시험과 동일한 과목과 문항수로 구성되어있으며 국가시험과 동일한 시험시간으로 실시하였다. 모의시험 실시 직후에 입학유형과 입학동기에 대한 설문조사를 실시하였다.

2) 응급구조사 국가시험 모의시험

A사에서 시행하는 지필형식의 1급 모의국가시험을 시행하였으며 문항은 기초의학(30문항), 응급환자관리학(40문항), 전문응급처치학총론(30문항), 전문응급처치학각론(110문항), 응급의료에관한법령(20문항)의 5과목으로 230문항으로 구성되어 있다. 시험에 소요된 시간은 실제 국가고시와 동일했다. 본 연구에서 모든 과목은 60% 이상을 득점한 역량을 기대수준으로 삼았다.

3) 입학전형 소개

연구 대상인 D 대학의 입학전형은 다음과 같다. 모집 시기별로 수시모집과 정시모집으로 구분되어 있으며 약 70%를 수시모집으로, 30%를 정시모집으로 입학생을 모집하고 있다. 수시모집의 경우 1차와 2차로 나누어서 모집하고 있으며, 전형별로는 정원내(일반고, 특성화고)전형과 정원외(농어촌/기초생활수급자/서해5도, 대졸자)전형으로 구분되어 있다. 수시모집의 경우 교과성적이 80%반영되며 1~2학년 중 최우수 2개 학기 전과목 평균 등급을 반영한다. 비교과 성적 20%는 학교생활기록부 기준 출결상황을 반영하고 있다. 정시모집의 경우 일반부전형으로 수능과 학생부 전형으로 나뉜다. 수능전형은 수능 90%와 출결상황 10%가 반영되며 학생부 전형은 교과성적 80%(1~2학년 중 최우수 2개 학기 전과목 평균등급)와 출결상황 20%가 반영된다. 편입학 제도의 모집인원은 학과별 제적상황에 따라 변동될 수 있으며, 정원내 일반편입학 전형으로 모집하고 있고, 2학년 1학기, 3학년 1학기에 지원 자격이 있다. 면허 혹은 자격증 취득을 위해 국가고시를 보는 보건계열의 경우 대부분의 편입생은 2학년 1학기 편입생이다.

4) 연구모형

학업성취도를 분석하기 위하여 문항반응이론을 이용하였다. 문항반응이론에서 가장 널리 사용되는 로지스틱 모델은 문항의 특성 수에 따라 1모수(1-parameter logistic model, 1PL), 2모수(2PL), 3모수(3PL)로 구분된다. 이러한 다양한 모델 중에서 연구 목적과 데이터에 가장 적합한 모형을 선택하기 위해서는 모수 모형의 모델적합도검증(Goodness-of-fit)이 선행되어야 한다. 모델 적합도 검증은 주어진 데이터에 각 문항반응 모형이 얼마나 잘 부합하는지를 평가하여, 분석 결과의 타당성과 해석의 신뢰성을 확보하는 데 중요한 역할을 한다. 예를 들어, 실제로는 문항 간 변별도가 다양한데도 불구하고 1모수 모델을 사용할 경우, 능력치 추정이 왜곡될 수 있으며, 문항 분석 결과 역시 신뢰도를 확보하기 어렵다. 모델 적합도를 평가하는 방법으로는 -2 Log Likelihood, AIC(Akaike information criterion), BIC(Bayesian information criterion) 등의 정보기준지표와 카이제곱 검정, 잔차분석 등이 활용된다. 이와 같은 지표들을 통해 다양한 모델 간의 상대적 우수성을 비교할 수 있으며, 가장 적절한 모형을 선택함으로써 평가 도구로서의 타당도와 측정의 정밀도를 높일 수 있다[15].

모델적합도 검정은 R-Studio 1.4.3(Posit software, USA)을 사용하였다. 2모수 문항반응이론을 이용하여 학업성취도를 분석하기 위한 문항분석 및 문항반응곡선, 라이트지도(Wright map), 커널밀도지도(Kernel density map)은 jMetrik 4.1.1(Psychomeasurement systems, USA)을 사용하여 분석하였다. 빈도, 평균, 표준편차와 같은 기술통계는 Jamovi 2.3.28(The jamovi project, Australia)로 시행하였다.

2모수 문항반응이론 분석 시 모두 동일한 답으로 반응한 문항은 오류가 나타나므로 동일하게 반응한 5개 문항(전문응급처치학각론 5 문항)은 분석에서 제외하여 총 225문항을 분석대상으로 하였다.

2모수 모형의 모델적합도 검정은 <Table 1>과 같다. 1차원과 2차원 IRT 모델 비교 결과, 로그 가능도 차이에 대한 카이제곱 검정(χ2 = 159.63, df = 104, p <.001)을 통해 2차원 모델이 통계적으로 유의미하게 더 적합함을 확인하였다. 다만, AIC, BIC, SABIC 등 정보 기준에서는 오히려 1차원 모델의 적합도가 더 우수하게 나타났으며, 이는 2모수 모델이 적합도는 더 좋지만 실용적으로는 1차원 가정이 크게 위배되지는 않는 수준임을 시사한다.

Test model fit (N=68)

5) 문항반응이론

문항반응이론을 이용한 시험특성곡선(Test characteristic curve, TCC)은 응답자의 능력 수준(θ)에 따라 예상 총점이 어떻게 변하는지를 나타내는 곡선으로, 능력이 높을수록 총점이 증가하는 형태를 보인다. 세로축은 진점수(True score), 가로축은 학생 역량을 의미한다. 시험정보함수(Test information function, TIF) 역량 수준(θ)에 따라 해당 시험이 얼마나 많은 측정 정보를 제공하는지를 나타내는 함수로, 정보량이 클수록 측정이 더 정확도가 높으며 문항이 해당 능력대에 적합하다는 것을 의미한다. 시험표준오차(Test standard error, TSE) 역량 추정값의 불확실성 정도를 나타내며, 보통 시험정보량의 역수 관계를 가진다. 표준오차가 작을수록 정보량이 많고, 신뢰도가 높다[14].

6) 라이트지도(Wright map)

문항반응이론 분석 결과를 시각적으로 표현하는 대표적인 도구 중 하나가 바로 라이트지도(Wright map)이다. 피험자의 능력 분포(좌측)와 문항의 난이도(우측)를 동일한 척도 상에서 시각화함으로써 문항과 능력 간의 관계를 직관적으로 파악할 수 있게 한다[16].

7) 커널밀도지도(Kernel density map)

성별, 입학동기별, 입학전형별 학업성취도를 파악하기 위해 커널밀도지도(Kernel density map)를 이용하였으며, 이는 수험자들의 능력치 분포를 연속적인 곡선 형태로 시각화한 그래프이다. 개별 점수나 능력치를 단순 막대그래프로 표현하는 것이 아니라, 확률밀도함수처럼 연속 곡선으로 그려냄으로써 집단 전체의 성취 패턴을 한눈에 파악할 수 있다. 데이터의 분포를 부드럽게 시각화해주는 통계적 기법으로. 특히 문항반응이론 기반의 학업성취도 연구나 교육평가에서 집단 간 능력 분포 비교에 자주 사용된다[16].

III. 연구결과

1. 대상자의 일반적 특성과 입학관련 특성

연구대상자는 남학생 60.3%(41명), 여학생 39.7%(27명)이였고, 평균 나이는 22.8세(±1.78) 이였다. 입학유형 I은 수시, 정시 전형과 편입에 따른 분류로서 수시입학생 67.6%(46명), 정시입학생 22.1%(15명), 편입생 10.3%(7명)이였다. 입학유형 II는 정원내, 정원외 전형에 따른 분류로 정원내 입학생은 75%(51명), 정원외 입학생은 25%(17명)이였다. 응급구조학과에 입학한 동기는 적성에 맞게 선택한 경우가 55.9%(38명), 취업 전망과 성적을 우선 고려한 경우가 각각 17.6%(12명), 8.8%(6명) 그리고 타인의 권유에 의한 경우 17.6%(12명)이였다<Table 2>.

General and admission characteristics of participants (N=68)

2. 학업성취도 분석

1) 과목별 문항분석 결과

모든 과목은 60점(100점 만점 환산점수, % score) 이상이였으며, 이중 응급환자관리학과 응급의료관련법령이 각각 70.6점, 71.7점으로 높은 점수를 보였고, 기초의학 점수가 63.8점으로 가장 낮았다. 과목별 시험의 변별도는 모두 0.65 ~ 1.34 범위에 있어 ‘적절’ 범주에 속하였고, 난이도는 응급의료관련법령이 -2.0 이하로 ‘매우 쉬움’, 기초의학과 전문응급처치학각론이 -2.0 ~ -0.5 범위로 ‘쉬움’, 응급환자관리학, 전문응급처치학총론은 -0.5 ~ 0.5 범위로 ‘보통’ 범주에 속하였다. 평균과 % 점수, 난이도, 변별도, 문항내적 합치도(Cronbach α)를 포함한 문항분석 결과는 다음과 같다<Table 3>.

Item response theory-based test analysis

2) 과목별 학생역량수준 분석

과목별 학생의 역량수준을 확인하기 위하여 문항반응이론을 적용하여, 과목별 학생의 역령수준별로 기대되는 총점, 정보량, 추정 오차의 크기를 나타내는 시험특성곡선(Test characteristic curve, TCC), 시험정보함수(Test information function, TIF), 시험표준오차(Test standard error, TSE)와 학생의 역량과 문항의 난이도를 하나의 축에 나타낸 라이트지도(Wright map)를 활용하였으며, 결과는 다음과 같다<Fig. 1>.

Fig. 1

Subject-specific test characteristic curves (TCC) and wright maps. The red vertical line represents the ability level at which the test information curve peaks. The blue horizontal line represents the true score corresponding to a 60% score, and the blue vertical line indicates the ability level associated with that score.

TCC: Test characteristic curve, TIF: Test information function, TSE: Test standard error

시험특성곡선에서 100점 만점 환산 기준 60점에 해당하는 진점수에 대응하는 역량 수준은 기초의학 -0.418, 응급환자관리학 -0.996, 전문응급처치학총론 -0.825, 응급의료관련법령 -1.010, 전문응급처치학각론 -0.386 이였다. 각 과목의 문항정보함수에서 최대 정보가 제공되는 역량값은 기초의학과 전문응급처치학각론 -2.0, 전문응급처치학총론 -2.667, 응급의료관련법령 -1.667였다. 대부분의 과목에서 문항정보함수의 중심값이 -2.0 전후에 몰려있어 학생 평균 역량보다 낮은 수준에서 평가 정보가 집중되어 있었고, 합격기준인 60점의 역량과 차이가 큰 편으로 평가 정밀도는 제한적이었다.

라이트지도 분석 결과, 학생의 역량 분포는 전체적으로 -2.0 - 2.0에 분포되어 있었다. 기초의학(17번)과 전문응급처치학각론(10번, 56번)에서 극단적 난이도의 문항이 있었으나 학생 역량 분포에 적절한 문항 난이도 분포를 보였다. 응급환자관리학과 응급의료관련법령에서는 학생역량분포에 비해 난이도가 낮은 문항이 많았으며, 전문응급처치학총론의 문항 분포는 다수의 쉽거나 어려운 문항을 포함하고 있었고, 문항 난이도의 분포가 커 학생 역량과의 정렬이 적절하지 못했다.

3) 입학동기와 입학전형별 학업성취도

성별에 따른 학업성취도와 입학동기와 입학전형별 학업성취도를 파악하기 위해 학생 역량에 따른 밀도값을 시각화한 커널밀도지도(Kernel density map)를 이용하였으며, 결과는 다음과 같다<Fig. 2>.

Fig 2

Kemel density maps based on participants’ gender and admission-related characteristics.

BM: Basic medical science, MP: management of emergency; patients, EMG: Advanced emergency medical care - general topics, RE: Regulations on emergency medicak care, AMS: Advanced emergency medical care - subtopics

*: 1. Male, 2. Female

†: 1. Early admission, 2. Regular admission, 3. Transfer admission

‡: 1. Quota admission, 2. Extra-quota admission

§: 1. Personal aptitude, 2. Employment prospects, 3. High school academic performance, 4. Encouragement from others

성별에 따른 학업성취도 분석에서는 여학생이 기초의학, 응급환자관리학, 응급의료관련법령에서 역량 중심값과 역량 밀도가 높아 학업성취도가 우수했으며, 특히 응급환자관리학은 역량 밀도가 0.56으로 최고치를 보였다. 반면, 남학생은 전문응급처치학각론의 역량 평균값이 더 높았고, 전문응급처치학총론에서는 더 높은 역량 밀도값을 보였다. 남녀간 역량의 중심위치와 분포양상이 과목별로 차이를 보였으나, 전반적으로 여학생의 역량 밀도가 높고 학업성취의 동질성이 높은 특징을 보였다.

입학유형I(수시/정시/편입)에 따른 비교에서는 수시입학생이 응급환자관리학, 전문응급처치학총론에서 역량 밀도가 가장 컸으나, 전 과목에서 역량 분포의 편차가 커 성취도의 일관성이 낮았다. 정시 입학생은 전문응급처치학각론에서 가장 높은 역량 중심값과 밀도값을 보였다. 편입생은 기초의학, 응급의료관련법령, 응급환자관리학, 전문응급처치학총론에서 가장 높은 역량 중심값을 보였으나, 전문응급처치각론에서는 가장 낮은 학업성취도를 보였다.

입학유형II(정원내/정원외)에서 정원내 입학생이 기초의학에서 우수한 역량 중심값과 밀도값을 보였으며, 정원외 입학생은 응급환자관리학에서 상대적으로 역량 밀도가 높았다. 그러나 나머지 과목에서 두드러진 차이를 보이지 않았다.

입학동기분석에서 ‘타인의 권유’를 답한 그룹이 전과목에서 가장 높은 역량 중심값을 보이며 우수한 학업성취도를 보였다. 이어 ‘적성에 맞게 선택’ 한 그룹이 전과목의 역량 중심값이 ‘타인의 권유’ 그룹 다음으로 높았으며, 전문응급처치학각론을 제외하고 가장 높은 역량 밀도값을 보였다. ‘취업 가능성’과 ‘성적’을 우선 고려한 그룹은 큰 차이를 보이지 않았으나, ‘성적’을 우선 고려한 그룹이 상대적으로 학업성취도가 낮았다. 취업 전망, 성적을 우선 고려한 그룹은 특히 응급환자관리학 과목에서 역량 밀도가 고원(Plateu) 형태를 보이며 분산이 크고 중심이 낮아 학습 집단의 성취 편차가 두드러졌다.

IV. 고 찰

본 연구는 일개 대학 응급구조학과 3학년 학생들의 국가시험 대비 모의시험결과를 바탕으로 성별, 입학전형 유형, 입학동기와 같은 변인을 기준으로 학업성취도를 다면적으로 분석함으로써, 단편적인 수치 비교에 그치지 않고 학습자의 배경 특성과 학업성취도 간의 관계를 보다 심층적으로 이해하고자 시도되었다.

모의시험은 정보 제공 범위가 학생 역량보다 낮은 영역에 집중되어 있었다. 대부분의 과목에서 문항정보함수의 최대치는 역량 -2.0 전후에 위치하고 있었으며, 이는 시험이 평균 이하의 학습자에 대한 변별력은 확보하였으나, 평균 이상의 학습자에 대한 정밀한 측정에는 한계가 있다는 것을 시사한다. 또한 합격선인 60점에 해당하는 진점수에 대응하는 역량이 -0.4에서-1.0 사이로 시험이 실제 평가하고자 하는 목표 기준과도 약간의 차이가 있었다. 라이트지도를 통해 확인된 학생 역량 분포는 대체로 -2.0에서 +2.0 사이에 고르게 분포하고 있었으나, 문항의 난이도는 일부 과목에서 이와 불일치하는 양상을 보였다. 예를 들어, 전문응급처치학총론에서는 극단적으로 쉬운 문항과 어려운 문항이 혼재되어 있었고, 응급의료관련법령이나 응급환자관리학에서는 쉬운 문항들이 다수 포함되어 문항 난이도 분포의 표준화가 미흡하였다. 반면 기초의학과 전문응급처치학각론에서는 문항 난이도 분포가 학생 역량 분포와 비교적 잘 부합하였다.

커널밀도지도를 통한 집단 간 학업성취도 분석에서 여학생은 기초의학, 응급환자관리학, 응급의료관련법령에서 높은 역량 밀도를 보였으며, 남학생은 전문응급처치학각론에서 우세함을 확인할 수 있었다. 대규모 메타분석을 포함한 연구들에서 여학생의 학업성취도가 남학생보다 더 높다는 결과를 보고하고 있는데, 한 연구에서는 ‘우수’ 보다 ‘기본’ 성취수준에서 성별에 따른 차이가 컸으며, 여학생은 자료해석, 분석적 사고, 실생활 적용형 문항에서 강점이 있고, 남학생은 지리적·공간적 정보 기억과 포괄적 지식을 묻는 문항에서 강하다고 보고하였다[5,17]. 본 연구의 결과를 기반으로 볼 때, 여학생은 사례중심, 실기 중심 교육 등으로 학습 동기를 지속적으로 강화하고, 남학생에게는 저학년때 부터 주기적 학습 피드백을 제공하여 집중력과 동기 유지를 돕는 전략이 필요하다고 판단된다.

입학유형I에서 수시 입학생은 응급환자관리학 및 전문응급처치학총론에서 강점을 보였으나 전 과목에서 편차가 매우 큰 것으로 확인되었다. 정시 입학생은 전문응급처치학각론에서 가장 우수한 성취를 보였으나 기초의학에서는 낮은 성취도를 보였고, 편입생은 기초의학, 응급환자관리학, 전문응급처치학총론, 응급의료관련법령 과목에서 역량 중심값이 가장 높았으나 전문응급처치학각론에서는 학업성취도가 가장 낮았다. 간호대학생을 대상으로 한 연구[18]에 따르면, 입학유형에 따라 과목별 학업성취도 양상이 달라지는 것으로 나타났는데, 편입생은 기초이론 과목에서 높은 성과를 보였으나 전공심화과목에서는 낮은 성취를 보였으며, 정시입학생은 고학년 과목에서 상대적으로 우수하였으나 기초과목에서는 성취도가 낮았다. 반면 수시입학생은 일부 과목에서 높은 성취를 보였으나 전체적으로 성취 편차가 크고 동질성이 낮은 양상을 보여 본 연구 결과와 유사하다. 또한 Zuckerman 등[6]은 이공계 학위과정으로 편입한 학생들을 대상으로 이들이 새로운 학습 환경과 공동체 속에서 학습 동기와 자아상을 재구성하는 과정을 분석하였고, 이 과정에서 동료 멘토링, 교수와의 긍정적 관계, 실험실 및 수업 내 포용적 환경 등이 중요한 역할을 한다고 보고하였다. 본 연구 대상 학생들의 소속 대학의 경우 편입생의 합격 여부는 전적대학의 성적에 크게 좌우되며 따라서 우수한 학생들이 입학하고 1학년 이후에 편입하게 되어 상대적으로 단순 지식의 이해와 암기를 필요로 하는 과목에서 학업성취도가 높지만, 전공심화 과목 등 고학년에서 습득하는 과목의 적응에 도움이 필요할 것으로 판단된다.

또한 수시 입학생이 정시입학생, 편입생에 비해 학업성취도의 집단 내 편차가 크고 동질성이 낮았다. 이는 수시전형이 여러 하위 전형으로 구성되어 있어, 선발기준이 다양하다는 것에 기인하는 것으로 사료되나, 구체적 원인에 대해서는 하위 전형별 분석이 추가로 필요하다. 국가고시가 준거지향평가임을 감안할 때 우선적으로 학업성취도가 낮은 학생을 대상으로 학습방법, 시간관리, 동기수준 등 학습전략 등에 대한 상담과 형성평가의 결과를 활용하는 것이 필요할 것이다. 수시 입학생과 정시 입학생의 학습태도, 대학생활 적응 등을 비교연구한 선행 연구에서, 수시 입학생은 비교과 프로그램과 학습지원, 과정 중심 활동을 많이 경험한 집단으로, 이러한 경향은 교육과정 개선에 대한 중요한 단서가 된다고 보고하고 있다[19].

입학유형II에서는 정원내입학생이 기초의학에서 역량중심값이 크고, 정원외입학생은 응급환자관리학에서 밀도가 높았으나, 전반적으로 정원내와 정원외 입학생 간 차이가 크지는 않았다. 기존 연구에서도 정원내·외전형에 따른 학업성취도의 차이가 없는 것으로 나타났는데[20] 이는 입학 이후에 동일한 환경에서 새로운 학문에 대한 학업 역량이 배양되기 때문인 것으로 판단된다.

마지막으로 입학동기별 분석에서는 ‘추천’의 경우 전과목에서 높은 우세한 결과를 보였으며, 이는 기존 연구 결과와 유사하다[21]. 또한 ‘적성’ 동기 집단은 각론을 제외한 나머지 과목에서 전반적으로 높은 성취도와 집중도를 보였다. ‘적성’ 은 중요한 내적동기로 이는 모두 높은 학업성취도와 연관이 있다[11]. 반면, ‘취업전망’ 및 ‘성적’ 중심 동기 집단은 낮은 동질성과 역량 중심값을 보였고, 특히 응급환자관리학에서는 고원(Plateau) 형태의 분포를 보이며 낮은 학업성취도와 큰 편차를 보였다. 한국교육고용패널(KEEP)자료를 이용한 분석연구에서 수능성적은 대학의 학점과 직접적 영향이 없다는 보고[22]가 있으며, 취업 전망으로 대학을 선택한 경우 긍정적인 측면으로 목표지향적 학습 태도를 보일 수 있으나, 전공에 대한 흥미 부족시, 취업 전망이 좋았던 분야에 대한 불확실성이 커질 시 학업성취도 저하로 이어질 수 있다는 보고가 있다[23]. 본 연구의 결과에 따르면 입학 전 성적과 취업 전망을 동기로 입학한 경우 전공에 대한 내적동기가 부족하며 이는 학업성취도의 저하로 이어졌고, 따라서 학업동기를 재구성하고 전공지식과 미래 직무를 연결할 수 있는 직무기반 교육과정, 진로 탐색 워크숍 등의 비교과 프로그램 등을 모색할 필요가 있다고 사료된다.

최근 교육 분야에서는 의학분야와 마찬가지로 증거기반실천(Evidence-based practice)이 강조되고 있다. 이는 주관적 판단이나 추정에 의존하지 않고 교육 현장에서의 자료를 수집하고 분석하여, 그 결과를 바탕으로 교육 계획을 수립하고 이를 교육과정에 환류시키는 과정을 포함한다[24]. 학업성취도는 학업 역량을 설명할 수 있는 대표적인 실증 자료로, 이를 교육과정 설계 및 학습 지도에 적극적으로 환류하는 것은 교육의 질을 높이는 데 있어 중요한 과정이다. 특히 응급구조학과의 경우, 직무수행이 가능한 인력(Work-ready professionals)양성이라는 사회적 요구가 크기 때문에, 학생들이 일정 수준 이상의 동질적 학업성취도를 달성하도록 유도하는 것이 필수적이고, 이를 위해 객관적이고 실증적인 자료를 이용하여 학업성취도를 심층적이고 다각적인 분석하는 것이 필요하다.

따라서 본 연구의 이러한 접근은 교육 현장에서 학습자의 특성에 맞춘 교수-학습 전략 수립과 학생 간 학업 격차를 완화하기 위한 맞춤형 학습 지원에도 활용 가능할 것이며, 문항반응이론의 장점과 커널밀도지도의 시각적 직관성을 결합하여, 학업성취도의 결과를 보다 깊이 있고 구조적으로 이해함으로써, 단지 평가의 도구로서가 아니라 교육적 개선 방향을 설정하기 위한 실증적 근거를 제공한다는 점에서 의의가 있다.

본 연구의 제한점은 다음과 같다. 첫째, 본 연구는 3학년 재학생을 대상으로 단일 시점에 실시된 모의 국가시험 결과를 기반으로 수행되었기 때문에, 기초의학이나 응급환자관리학 등 저학년 과정에서 이수하는 과목과, 전문응급처치학각론 및 응급의료에관한법령 등 고학년에서 이수하는 과목 간 학업성취도의 학년에 따른 추이를 분석하는 종단적 연구는 수행되지 못하였다.

둘째, 본 연구에서는 입학 전 요인인 입학 전형 및 입학 동기를 중심으로 학업성취도를 분석하였으나, 실제로는 학생의 사회경제적 배경, 인지적 성향, 정의적 특성뿐만 아니라, 입학 후 교수 또는 또래와의 관계, 동아리 및 아르바이트 활동, 학교시설 및 학습지원 서비스의 이용 등 다양한 요인들이 학업성취도에 영향을 미칠 수 있으므로 학업성취도에 영향을 미치는 요인을 충분히 설명하는 데에는 한계가 있다.

V. 결 론

본 연구는 문항반응이론을 활용하여 일개 대학 응급구조학과 3학년 학생들의 모의 국가시험 결과를 분석하고, 입학동기와 입학전형 유형에 따른 학업성취도의 차이를 정량적으로 탐색하였다. 이를 통해 학습자의 배경 특성과 학업성취도 간의 관계를 다면적으로 조망하고, 교육과정 개선 및 학습 지원 전략 수립을 위한 실증적 자료를 제공하고자 하였다.

분석 결과, 전체적으로 시험 문항은 평균 이하의 역량 수준에서 정보량이 집중되어 있어, 상위권 학습자에 대한 평가 정밀도는 제한적이었다. 과목별 문항 난이도와 학생 역량 간의 부조화가 일부 과목에서 확인되었으며, 이는 시험의 평가목표와 실제 성취기준 간의 불일치를 시사한다.

학생의 성별, 입학전형 유형, 입학동기 등 배경요인에 따른 커널밀도지도 분석 결과, 여학생은 전반적으로 높은 학업성취도와 동질적인 역량 분포를 보였고, 편입생은 기초과목에서 우수하였으나 고학년 전공과목에서는 낮은 성취도를 나타내는 등 학습 적응에 차이를 보였다. 또한, 입학동기 중 ‘타인의 권유’나 ‘적성에 맞는 선택’을 한 학생들이 가장 높은 성취도를 보였으며, 반대로 ‘취업전망’이나 ‘성적’ 중심의 동기를 가진 학생들은 낮은 성취도와 함께 성취 편차가 크게 나타났다.

이러한 결과는 입학 단계에서의 입학전형 유형과 입학동기가 학업성취도에 유의미한 영향을 미칠 수 있음을 시사하며, 향후 입학 전 동기 재구성 프로그램, 진로탐색 워크숍, 비교과 학습지원 프로그램 등을 통한 개별화된 학습 지원이 필요함을 시사한다. 또한 입학전 전공 연관 과목의 학습 여부, 사회경제적 배경 등 외적요인에 대한 추가적인 연구가 필요하다.

또한 본 연구는 문항반응이론과 시각화 도구를 활용하여 학업성취도를 정밀하게 분석한 시도로서 그 의의가 크며, 기존의 단편적 점수 중심 평가를 넘어 교육적 해석과 개선 방향 제시에 실증적 근거를 제공하였다는 점에서 의의가 있다. 향후에는 학업성취도의 종단적 변화, 정의적·사회적 요인의 영향 등 다양한 변인을 포함한 연구로 확장될 필요가 있으며, 평가방식 또한 인지적 영역뿐 아니라 술기와 태도까지 포함한 다양한 평가체계로의 발전이 요구된다.

References

1. Kang MJ, Kim KY, Seo HJ, Han ST. Literature review on the job competency of paramedics and paramedic students in Korea. Korean J Emerg Med Ser 2023;27(2):41–50. https://doi.org/10.14408/KJEMS.2023.27.2.041.
2. Chae H, Lee HY, Han SY. RT-based analysis of test validity and academic competency for educational practice. J Kor Med Edu 2023;8(1):1–9. https://doi.org/10.23215/JKME.PUB.1.1.1.
3. Korean Institute for Curriculum and Evaluation. The role and challenges of national-level academic achievement assessment. Educational Evaluation Research 2019;29(2):1–28.
4. Dumont H, Ready DD. On the promise of personalized learning for educational equity. NPJ Sci Learn 2023;4(8):26. https://doi.org/10.1038/s41539-023-00174-x.
5. Kim HS. Analysis on gender difference in academic achievement. J Educ Psychol 2011;25(2):233–51.
6. Zuckerman AL, Lo SM. The impact of transfer pathways on academic success in health professions education. J Allied Health 2021;50(1):e15–e21.
7. Heo MH, Ko DS. Mediating effect of academic achievement on the relationship between self-directed learning ability and major satisfaction in emergency medical service students. Journal of Health Care and Life Science 2024;12(2):405–13. https://doi.org/10.22961/JHCLS.2024.12.2.405.
8. Lee JE, Kim SS, Pi HY. The relationship between self-directed learning, learning flow, self-efficacy, and academic achievement in the department of emergency medical technology students. Korean J Emerg Med Ser 2021;25(3):49–61. https://doi.org/10.14408/KJEMS.2021.25.3.049.
9. Shin YH, Kook JW, Kim BK. Effects of flipped learning on self-directed learning and academic self-efficacy of paramedic students. Korean J Emerg Med Ser 2022;26(2):37–46. https://doi.org/10.14408/KJEMS.2022.26.2.037.
10. Koo YJ, Kim TS, Hong SY. A study of academic achievement and core competencies according to university admission types in nursing students. Journal of the Korea Academia-Industrial Cooperation Society 2019;24(7):117–23. https://doi.org/10.9708/jksci.2019.24.07.117.
11. Joo EK, Han JW. The effect of motivation for major selection, satisfaction in major on the academic achievement among nursing students. HSS21 2021;12(1):2563–78. https://doi.org/10.22143/HSS21.12.1.181.
12. Lim EY, Park JH, Kwon I, Song GL, Huh S. Comparison of item analysis results of Korean Medical Licensing Examination according to classical test theory and item response theory. J Educ Eval Health Prof 2004;1(1):67–76. https://doi.org/10.3352/jeehp.2004.1.1.67.
13. Seong TJ, Si GJ. Research methodology 3rd edth ed. Seoul: Hakjisa; 2020.
14. Seong TJ. Understanding and applying item response theory Paju: Kyoyookbook; 2019.
15. Embretson SE, Reise SP. Item response theory for psychologists 1st edth ed. Mahwah, NJ: Lawrence Erlbaum Associates; 2000.
16. Baghaei P, Grotjahn R. Establishing the construct validity of conversational c-tests using a multidimensional item response model. Psychological Test and Assessment Modeling 2014;56(1):60–82.
17. Voyer D, Voyer SD. Gender differences in scholastic achievement: a meta-analysis. Psychol Bull 2014;140(4):1174–204. https://doi.org/10.1037/a0036620.
18. Han MH, Bae SM. A study on the relationship between college adaptation, academic achievement and admission type in one nursing school. J Korean Acad Soc Nurs Educ 2015;21(1):46–53. https://doi.org/10.5977/jkasne.2015.21.1.46.
19. Kang SB, Kim KH. Differences in adaptation and learning attitudes by admission types. Korean J Gen Educ 2019;13(6):77–96.
20. Kim JY, Park SY, Shin HS, Min BC. Outcomes of admission officer system in universities. Asian J Educ 2013;14(1):29–50.
21. Gil CR. Relationship among self-directed learning ability, academic self-efficacy and achievement in nursing students. J Digit Converg 2021;19(12):1–10. https://doi.org/10.14400/JDC.2021.19.12.617.
22. Shin JC, Jung JS, Shin TS. Causal relations between academic achievement and its factors in college students. J Educ Admin 2008;26(1):287–313.
23. Choi HJ, Jeon HJ. Analysis of academic achievements and employment preparation behavior in college students majoring in cosmetology - focusing on demographic variables. Korean Fashion Text Res J 2024;26(2):208–17. https://doi.org/10.5805/SFTI.2024.26.2.208.
24. Kim KY. A Study on the functions of quality management of curriculum by national assessment of educational achievement. The Journal of Curriculum and Evaluation 2017;20(4):145–73. https://doi.org/10.29221/jce.2017.20.4.145.

Article information Continued

Table 1

Test model fit (N=68)

AIC SABIC HQ BIC logLik X2 df p
Model_1d 6653.019 6457.812 6837.701 7119.116 -3116.510

Model_2d 6701.389 6409.508 6977.532 7398.314 -3036.695 159.63 104 0

AIC: Akaike’s information criterion, SABIC: Sample-size adjusted bayesian information criterion, HQ: Hannan-quinn information criterion, BIC: Bayesian information criterion, logLik: log likelihood ratio

Table 2

General and admission characteristics of participants (N=68)

Characteristic Category Number(%) or Mean±SD
Gender Male 41 (60.3)
Female 27 (39.7)

Age 22.8±1.78

Type of admission I Early admission 46 (67.6)
Regular admission 15 (22.1)
Transfer admission 7 (10.3)

Type of admission II Quota admission 51 (75.0)
Extra-quota admission 17 (25.0)

Motivation for application Personal aptitude 38 (55.9)
Employment prospects 12 (17.6)
High school academic performance 6 (8.8)
Encouragement from others 12 (17.6)

Table 3

Item response theory-based test analysis

Subject Mean±SD Percent score (%) Discrimination Difficulty Cronbach α
Basic medical science 19.33±3.33 63.8 0.763±0.879 -1.033±4.125 0.581

Management of emergency patients 28.24±4.53 70.6 0.745±0.715 0.442±17.126 0.637

Advanced emergency medical care: general topics 20.32±3.17 67.7 1.062±2.759 0.028±4.705 0.529

Regulations on emergency medical care 14.34±2.78 71.7 0.865±0.827 -2.123±3.058 0.556

Advanced emergency medical care: subtopics 74.19±10.78 67.4 1.047±2.5937 -1.66±5.788 0.867

Fig. 1

Subject-specific test characteristic curves (TCC) and wright maps. The red vertical line represents the ability level at which the test information curve peaks. The blue horizontal line represents the true score corresponding to a 60% score, and the blue vertical line indicates the ability level associated with that score.

TCC: Test characteristic curve, TIF: Test information function, TSE: Test standard error

Fig 2

Kemel density maps based on participants’ gender and admission-related characteristics.

BM: Basic medical science, MP: management of emergency; patients, EMG: Advanced emergency medical care - general topics, RE: Regulations on emergency medicak care, AMS: Advanced emergency medical care - subtopics

*: 1. Male, 2. Female

†: 1. Early admission, 2. Regular admission, 3. Transfer admission

‡: 1. Quota admission, 2. Extra-quota admission

§: 1. Personal aptitude, 2. Employment prospects, 3. High school academic performance, 4. Encouragement from others