BSC Blog

다면평가를 하다보면 관대화 경향 문제가 큰 골치거리입니다. 심한 경우 전체 평가대상자의 대다수가 100점 만점으로 환산했을 때 95점 이상을 받는 경우도 보았습니다. 집단마다 관대화 경향에도 차이가 있어서 대개 기술이나 R&D를 담당하는 집단이 Staff 집단보다 점수대가 높게 나타납니다. 기술이나 R&D를 담당하는 리더들이 대개 더 우수한 리더들이어서 그럴까요?
관대화 경향을 피하기 위해 취할 수 있는 조치들이 몇 가지 있습니다. 일단 크게 평가대상자 중심 개선안과 문항 중심 개선안으로 나눠서 생각할 수 있겠습니다. 평가대상자 중심 개선안 중에 가장 대표적인 방식이 순위부여법입니다. 쉽게 말해서 평가대상자를 서열화하는 방식입니다. 이렇게 하면 관대화 경향은 나타나지 않겠지만 서로 다른 평가 집단간 비교가 어렵고, 개인별로 어떤 점이 진짜 장점이고 단점인지 알기 어렵다는 문제가 있습니다.
평가대상자 중심 개선안에 해당하는 또다른 방법으로 강제배분법이 있습니다. 점수대별로 최대 인원을 제한하는 방식입니다. 예를 들어 “5점은 20% 이내, 4점은 30% 이내”라는 식으로 제한을 두는 것입니다. 이렇게 하면 인위적으로 관대화 경향을 완화시킬 수는 있겠지만, 일종의 상향 또는 하향 평준화가 일어나 타당한 평가가 어렵다는 단점이 있습니다.
그래서 대안으로 생각해 볼 수 있는 것이 문항 중심 개선안입니다. 종종 쓰이는 방식으로 불균형 척도 활용법이 있습니다. 불균형 척도란 관대화 경향으로 인해 평정되지 않는 하위 척도를 배제하거나 관대화 경향이 나타나는 구간을 세분화해서 평가하도록 하는 척도를 말합니다. 예를 들어 ‘매우 그렇다’ 위에 ‘극도로 그렇다’ 등의 항목을 두는 방식입니다. 이렇게 하면 기존 역량평가 척도를 그대로 활용할 수는 있지만 실제 사용해 보면 여전히 관대화 경향이 나타날 가능성이 남는다는 단점이 있습니다.
다음으로 문항의 구조를 바꿔 관대화 경향을 없애려는 시도가 있는데 대표적인 예로 Partial Ipsative 방식을 들 수 있습니다. Ipsative 방식이란 평가 항목 두 개를 동시에 제시하고 어느 쪽에 가까운지를 평가하도록 하는 방식을 말합니다. 일반적인 Ipsative 방식은 한 쌍의 문항으로 두 항목을 동시에 측정합니다. 그런데 이렇게 하면 역량 점수의 총합이 모든 평가대상자에게서 일정하게 나타난다는 단점이 있습니다. 이를 보완한 것이 Partial Ipsative 방식입니다. Partial Ipsative에서는 한쪽에는 실제로 측정하는 문항, 다른 한쪽에는 실제로는 측정하지 않는 더미(Dummy) 문항을 제시하고 평가자로 하여금 평가대상자가 어느 쪽에 가까운지를 평가하게 합니다. 물론 두 진술 모두 대체로 바람직한 진술입니다. 그래서 평가자는 어느 쪽으로 응답해야 평가대상자를 관대하게 평가하는 것인지 모르고 응답하게 됩니다. 그리고 한쪽 방향으로만 채점이 되기 때문에 각 평가대상자마다, 그리고 평가 항목마다 점수의 총합이 상이하게 됩니다. 즉, Partial Ipsative 방식을 사용하게 되면 평가자의 왜곡 평가 경향을 완화할 수 있으면서도 평가 결과의 개인 내 비교, 개인 간 비교가 모두 가능하게 됩니다. 단, 이 방식을 쓰기 위해서는 문항 개발의 노하우와 전문성이 필요합니다.
이상으로 다면평가를 할 때 나타나는 관대화 경향에 대응할 수 있는 몇 가지 방법을 간단하게 살펴 보았습니다. 조직의 필요와 상황에 따라 다양한 대안을 활용할 수 있으므로 전문가와 상의해 보시기 바랍니다.

2019년 7월 10일

다면평가에서 관대화경향을 피하는 방법이 있을까요?

다면평가를 하다보면 관대화 경향 문제가 큰 골치 […]
2019년 7월 8일

다면평가에서 어떤 역량을 많이 평가하나요?

다면평가를 시행하거나 도입하려는 회사에서 많이들 […]
2019년 6월 19일

면접에서 본 인상과 인성검사 결과가 서로 다른 경우에 어떤 걸 믿어야 하나요?

면접 점수를 잘 받은 사람이 인성검사 결과도 잘 […]
2019년 6월 17일

인성검사에서 탈락하는 사람들은 어떤 사람들인가요? 몇 퍼센트나 탈락하나요?

어떤 유력인의 자녀가 인성검사에서 부적격 결과가 […]