서로 다른 버전의 검사를 실시했을 때 결과로 나온 점수를 같은 잣대로 비교할 수 있을까요? 같은 검사 하나만을 계속 사용할 수 없어 검사의 버전을 바꿔 사용하고 결과를 비교해야 하는 경우가 종종 발생하는데, 오늘은 이런 경우 어떻게 검사 점수를 비교할 수 있는지 살펴보도록 하겠습니다.

검사 간 비교를 위해서는 비교할 검사에 공통 문항을 추가한 후 결과를 통계적으로 조정하는 방법을 활용할 수 있습니다. 이 때 사용하는 공통 문항을 가교 문항(anchor item)이라고 합니다. 가교 문항은 한 검사의 점수를 다른 검사의 점수와 연결하는 기준점으로 사용되며, 실제 채점에는 포함되지 않습니다.

[관련 글] 검사를 여러 회차로 진행할 경우 회차 간 공정성 이슈가 발생하지는 않나요?

가교 문항에 의한 검사 동등화는 서로 다른 문항으로 구성된 검사를 공통된 척도로 비교할 수 있도록 조정하는 통계 방법 중 하나입니다. 일반적으로 가교 문항에 의한 검사 동등화는 검사 비밀이 유지되어야 할 필요가 있다거나 그 외 다른 이유 등으로 서로 다른 두 개의 검사를 동일한 집단에 실시하기 어려운 경우에 활용할 수 있는 유용한 방법입니다.

가교 문항에 의한 검사 동등화 방법의 기본 아이디어는 두 검사가 같은 요인을 측정한다는 전제 하에 두 검사를 유사한 수준의 피험자 집단에게 실시하면 두 검사 간 공통 문항 점수는 유사해야 한다는 것입니다. 즉 두 개의 검사에 공통으로 포함되어 있는 가교 문항의 점수 차이는 두 검사를 각각 실시한 두 집단의 능력 수준의 차이에 기인하는 것으로 봅니다. 이러한 공통 문항을 가교로 사용하여 두 검사를 응시한 서로 다른 응시자 집단의 수준을 같도록 맞춘 다음, 비가교 문항의 점수를 조정하여 두 개의 검사를 동일한 척도에 놓고 비교 가능하도록 만듭니다.

가교 문항을 통한 검사 동등화 과정은 가교 문항이 포함된 두 개의 검사를 각기 다른 피험자 집단에 실시하고 이 때 얻은 가교 문항 점수를 통해 동등화 함수를 산출 및 적용하여 두 검사를 동일한 척도 상에서 비교 가능하도록 합니다. 가교 문항을 통해 검사 점수를 조정하는 방법은 다양하지만, 그 중 가장 기본적인 방법으로 X검사와 Y검사 간 선형 관계를 가정하고 X점수를 Y점수 척도에 연계하는 Tucker 선형 동등화 과정은 다음과 같은 함수로 나타낼 수 있습니다. 

(위의 함수에서 S는 합성모집단으로, 모집단 1과 2에서 표본 크기에 따라 가중치를 부여하여 결합한 모집단을 뜻합니다. 합성모집단의 각 계수는 각 검사 점수와 가교 문항 점수 간 회귀계수, 가교 문항 점수의 평균과 표준편차를 통해 산출합니다.) 

각 검사를 동등화하기 위해 포함되어야 하는 적절한 가교 문항의 개수는 엄밀하게 정해진 바는 없지만, 일반적으로 전체 문항 수의 최소 20~30% 정도가 포함되어야 하며, 검사를 대표할 수 있는 핵심 문항으로 구성되어야 합니다. 

이러한 가교 문항의 수가 많을수록 동등화의 정확도는 높아지며, 반대로 가교 문항의 개수가 적을수록 동등화 오차는 커지게 됩니다. 그러나 가교 문항의 수가 지나치게 많으면 검사를 수행하는 피험자들의 부담과 피로도가 커질 수 있습니다. 따라서 가교 문항은 두 검사의 특성, 동등화의 정확성, 피험자의 피로도 등을 고려하여 적절히 결정해야 합니다.

(최종 검토: 김윤주 선임연구원)

이미지 출처: pixabay

전체 글은 비에스씨 공식블로그에서 보실 수 있습니다.

https://blog.naver.com/bsc_hr/223116565852