🔍 검사는 공정한데, 왜 결과에서는 차이가 나타날까요?

채용 과정에서 인적성검사나 AI 평가를 운영하다 보면 이런 질문을 받습니다. "남성과 여성의 평균 점수 차이가 꽤 큰데, 혹시 검사 자체가 편향된 것 아닌가요?"

그래서 많은 기업이 DIF(Differential Item Functioning) 분석을 실시합니다. 그런데 여기서 흥미로운 점이 있습니다. DIF 결과는 "문제 없음"인데, 결과에서는 여전히 집단 간 차이가 나타나는 경우가 적지 않다는 것입니다.

1. DIF가 보는 것과 공정성은 다릅니다

DIF는 쉽게 말해, "같은 능력을 가진 사람인데도 특정 문항이 특정 집단에게 더 유리하게 작동하는가?"를 확인하는 분석입니다. 즉, 문항 자체의 공정성을 검토하는 도구입니다. 하지만 DIF가 없다고 해서 채용 전체가 공정하다는 의미는 아닙니다.

2. 많은 기업이 놓치는 Selection Bias

실제 채용 데이터는 무작위 표본이 아닙니다. 인적성검사를 보는 지원자는 이미 여러 단계를 통과한 사람들입니다.

예를 들어 서류전형에서 특정 경험, 활동 이력, 자기 PR 방식, 근무 가능 조건 등이 중요하게 작동했다면 어떨까요? 의도하지 않았더라도 특정 집단이 더 많이 선발되거나 탈락할 수 있습니다.

즉, 검사는 공정했지만 검사까지 오는 과정은 공정하지 않았을 수 있습니다.

3. 결과의 공정성은 또 다른 문제입니다

여기서 함께 봐야 하는 개념이 Adverse Impact입니다. DIF가 문항의 공정성을 본다면, Adverse Impact는 결과적으로 특정 집단이 더 불리한 결과를 받고 있는지를 봅니다.

실무에서는 이 두 개념이 자주 혼동됩니다. 하지만 HR Analytics 관점에서는 반드시 구분해서 해석해야 합니다.

4. 그래서 무엇을 봐야 할까요?

채용 공정성을 검토할 때는 평가도구만 보는 것으로는 충분하지 않습니다.

● 전체 지원자 분포

● 서류 통과 비율

● 검사 응시 비율

● 단계별 합격률

● Adverse Impact Ratio

● 실제 성과 예측력

이 데이터를 함께 분석해야 합니다. 실제로는 인적성검사보다 서류전형 단계에서 더 큰 편향 가능성이 발견되는 경우도 적지 않습니다.

5. 진짜 중요한 질문

많은 조직이 "검사가 공정한가?"를 묻습니다. 하지만 더 중요한 질문은 이것일 수 있습니다.

"누가 이 평가 단계까지 오게 되었는가?"

채용의 공정성은 문항 하나의 문제가 아니라 시스템 전체의 문제입니다. 그래서 앞으로의 HR Analytics는 평가도구 검증을 넘어, 프로세스 전체에서 어떤 Selection Effect와 Adverse Impact가 발생하는지까지 함께 살펴볼 필요가 있습니다.

채용 데이터는 생각보다 훨씬 많은 이야기를 하고 있으니까요.

💬 여러분의 조직은 채용 공정성을 검토할 때 평가도구와 프로세스 중 어디에 더 많은 관심을 두고 계신가요?

[ 전체글은 블로그 참조: https://blog.naver.com/bsc_hr/224309106753  ]

(글: 비에스씨 연구소)