밑줄 및 사진에는 URL이 포함돼 있습니다. 클릭하면 관련 페이지로 연결됩니다.  

[ AI Summary ]

​ 

안녕하세요! 오늘은 심리검사와 교육평가에서 중요한 역할을 하는 문항반응이론(IRT)에 대해 알아보겠습니다. 특히 IRT를 활용해 정밀한 검사를 개발하는 과정을 살펴보겠습니다.

​

문항반응이론(IRT)은 문항과 응답자의 능력 수준 사이의 관계를 수학적으로 모델링하는 통계적 방법론입니다. 기존의 고전검사이론(CRT)과 비교했을 때, 각각의 문항 특성을 매우 정교하게 분석할 수 있다는 장점이 있습니다.

​

IRT를 적용하려면 두 가지 핵심 가정을 충족해야 합니다. 첫째, 일차원성(Unidimensionality)입니다. 검사가 하나의 잠재특성만을 측정해야 하며, 예를 들어 수학 능력 검사라면 순수하게 '수학적 능력'만 측정해야 합니다. 둘째, 지역독립성(Local Independence)입니다. 동일한 능력 수준에서 한 문항의 응답이 다른 문항의 응답에 영향을 주지 않아야 합니다. 이 두 가정이 충족되지 않으면 IRT 모델의 정확도가 떨어질 수 있습니다.

​

IRT를 활용한 검사 개발 과정은 다음과 같습니다. 먼저, 무엇을 측정할 것인지 명확히 정해야 합니다. 지능, 성격, 직무 능력, 학업 성취도 등 측정 대상을 정의합니다. 다음으로, 다양한 난이도의 문항을 포함한 문항 풀(Item Pool)을 만듭니다. 문항은 명확하고 간결하게 작성하고, 응답자의 편향을 최소화해야 합니다.

​

작성한 문항들이 잘 작동하는지 확인하기 위해 전문가 검토와 파일럿 테스트를 진행합니다. 이후 적합한 IRT 모델을 선택합니다. 1PL 모델(라쉬 모델), 2PL 모델, 3PL 모델 등이 있으며, 각 모델은 문항의 곤란도, 변별도, 추측도를 고려합니다.

​

신뢰할 수 있는 분석을 위해 최소 200~500명 이상의 표본을 수집하고, R, IRTPRO, Mplus 등의 소프트웨어를 활용해 분석을 수행합니다. 분석 결과를 바탕으로 최종 문항을 선택하고 검사를 구성합니다. 정보 함수를 활용해 검사의 신뢰도와 타당도를 검증합니다.

​

컴퓨터 기반 적응형 검사(CAT)를 구현하면 응답자의 수준에 맞는 문항을 실시간으로 제공할 수 있어 검사의 효율성을 높일 수 있습니다. 마지막으로, 검사 표준화 작업을 진행하고, 주기적으로 데이터를 분석하며 문항의 품질을 점검하는 것이 중요합니다.

​

IRT는 문항 하나하나를 세밀하게 분석할 수 있어 기존 고전검사이론의 한계를 뛰어넘을 수 있습니다. 특히 CAT와 결합하면 응답자 맞춤형 검사까지 구현할 수 있어 활용 가능성이 무궁무진합니다. 다만 IRT를 활용하려면 두 가지 핵심 가정을 충족시켜야 한다는 점에 유의해야 합니다. 이러한 과정을 따라가면 충분히 좋은 검사를 개발할 수 있습니다.

​

(글: 비에스씨 연구소)

​

전체 글은 비에스씨 공식 블로그를 참조하세요

https://blog.naver.com/bsc_hr/223740173072