채용 적성 검사에서 좋은 문항이란 어떤 것일까요? 기업 입장에서는 직무에 적합한 인재를 채용할 수 있도록 지원자들의 능력을 적절히 변별할 수 있으며, 업무 유관성이 높고, 문제 오류 등이 발생하지 않는 문항일 것입니다. 이런 문항을 출제하기 위해 유념해야 할 조건에는 어떤 것들이 있을지 채용 시험에서 발생한 다양한 이슈들과 함께 살펴보도록 하겠습니다. 

적성 검사가 끝나고 나면 항상 나오는 지원자들의 반응 중 하나는 난이도에 관한 것입니다. 문제가 너무 어려워 다 풀지 못했다고도 하고, 반대로 난이도가 평이하여 얼마나 실수했는지에 따라 당락이 결정될 것 같다는 반응이 나오기도 합니다. 

[관련 글] 인성검사에서 탈락하는 사람들은 어떤 사람들인가요? 몇 퍼센트나 탈락하나요?

적성 검사의 난이도는 어느 정도가 적정할까요? 너무 쉬운 문제만 있다면 만점이 수두룩한 최상위권 학생들의 수능점수처럼 천정효과(ceiling effect)로 점수가 높은 지원자들 사이의 우열을 가리기 힘들고, 한 두 개의 실수가 미치는 영향이 지나치게 커질 수 있습니다. 반대로 너무 어려운 문제만 많다면 지원자들이 답을 찍게 되고 우연에 의한 점수 편차가 커지게 됩니다. 따라서 지원자들의 역량을 적절히 확인하기 위해서는 쉬운 문항과 어려운 문항, 중간 난이도의 문항이 골고루 분포되어 있어야 합니다.

일부 회사의 적성 검사에서는 타사에서 실시한 문항과 동일한 내용이 출제되거나 시중 수험서에 나온 문제와 거의 흡사한 문항이 출제되면서 수험자들 사이에서 불공정 논란이 일어난 경우도 있었습니다. 형평성 있는 평가를 위해서는 어떤 응시자가 이미 접해 본 문항이 그대로 출제되지 않아야 합니다. 또한 연습효과의 영향을 최소화한 형태의 문항이 좋습니다. 시중에 있는 수험서나 모의고사 등을 많이 접한 사람이 풀이 요령만 익혀서 쉽게 풀 수 있는 문항을 출제하게 되면 지원자의 논리적 사고력이나 본연의 인지능력이 아닌, 시험 준비도나 단순 암기력을 재는 시험으로 전락하게 될 것입니다.

어떤 적성 검사에서는 질문 내용이 명확하지 않은 문항으로 인해 복수의 답이 발생하거나 답이 없는 등 정답 시비 논란이 있는 문항 때문에 민원이 제기되기도 했습니다. 이런 경우 문항을 정확히 파악해 제대로 된 정답으로 채점하지 않으면 합격자와 불합격자가 뒤바뀌는 상황이 벌어지게 됩니다. 처음부터 바람직한 문항 진술의 원리에 기초해서 문제를 출제하고, 출제자 외의 검토자가 면밀히 검수하며, 보안상 가능하다면 파일럿 테스트로 한번 더 검증하면서 정확하게 문제를 출제하는 것이 바람직합니다. 실전에서 문항이 사용된 후에는 문항 분석을 통해 정답률(난이도), 변별도, 정답과 최빈 응답 간의 일치 여부 등을 확인하여 최종적으로 검증을 하는 것이 좋습니다.

이상으로 적성 검사에서 좋은 문항이란 어떤 조건들을 갖추어야 하는지에 대해서 간략하게 살펴보았습니다. 이외에도 문항을 풀 때 요구되는 능력과 원래 측정하려고 했던 능력이 일치해야 하며, 특정 집단에 유리하지 않은 문항으로 출제해야 한다는 점 등도 고려할 필요가 있습니다. 이러한 기준에 부합하는 적성 검사를 개발하고 사용해야 진짜로 능력이 뛰어난 지원자가 높은 점수를 얻고, 타당한 평가가 이루어질 수 있습니다.

(최종 검토: 강나현 컨설턴트)

이미지 출처: pixabay

전체 글은 비에스씨 공식블로그에서 보실 수 있습니다.

https://blog.naver.com/bsc_hr/222650872840