다면평가에서 관대화경향을 피하는 방법이 있을까요?

다면평가에서 어떤 역량을 많이 평가하나요?
2019년 7월 8일

다면평가에서 관대화경향을 피하는 방법이 있을까요?

다면평가를 하다보면 관대화 경향 문제가 큰 골치거리입니다. 심한 경우 전체 평가대상자의 대다수가 100점 만점으로 환산했을 때 95점 이상을 받는 경우도 보았습니다. 집단마다 관대화 경향에도 차이가 있어서 대개 기술이나 R&D를 담당하는 집단이 Staff 집단보다 점수대가 높게 나타납니다. 기술이나 R&D를 담당하는 리더들이 대개 더 우수한 리더들이어서 그럴까요?
관대화 경향을 피하기 위해 취할 수 있는 조치들이 몇 가지 있습니다. 일단 크게 평가대상자 중심 개선안과 문항 중심 개선안으로 나눠서 생각할 수 있겠습니다. 평가대상자 중심 개선안 중에 가장 대표적인 방식이 순위부여법입니다. 쉽게 말해서 평가대상자를 서열화하는 방식입니다. 이렇게 하면 관대화 경향은 나타나지 않겠지만 서로 다른 평가 집단간 비교가 어렵고, 개인별로 어떤 점이 진짜 장점이고 단점인지 알기 어렵다는 문제가 있습니다.
평가대상자 중심 개선안에 해당하는 또다른 방법으로 강제배분법이 있습니다. 점수대별로 최대 인원을 제한하는 방식입니다. 예를 들어 “5점은 20% 이내, 4점은 30% 이내”라는 식으로 제한을 두는 것입니다. 이렇게 하면 인위적으로 관대화 경향을 완화시킬 수는 있겠지만, 일종의 상향 또는 하향 평준화가 일어나 타당한 평가가 어렵다는 단점이 있습니다.
그래서 대안으로 생각해 볼 수 있는 것이 문항 중심 개선안입니다. 종종 쓰이는 방식으로 불균형 척도 활용법이 있습니다. 불균형 척도란 관대화 경향으로 인해 평정되지 않는 하위 척도를 배제하거나 관대화 경향이 나타나는 구간을 세분화해서 평가하도록 하는 척도를 말합니다. 예를 들어 ‘매우 그렇다’ 위에 ‘극도로 그렇다’ 등의 항목을 두는 방식입니다. 이렇게 하면 기존 역량평가 척도를 그대로 활용할 수는 있지만 실제 사용해 보면 여전히 관대화 경향이 나타날 가능성이 남는다는 단점이 있습니다.
다음으로 문항의 구조를 바꿔 관대화 경향을 없애려는 시도가 있는데 대표적인 예로 Partial Ipsative 방식을 들 수 있습니다. Ipsative 방식이란 평가 항목 두 개를 동시에 제시하고 어느 쪽에 가까운지를 평가하도록 하는 방식을 말합니다. 일반적인 Ipsative 방식은 한 쌍의 문항으로 두 항목을 동시에 측정합니다. 그런데 이렇게 하면 역량 점수의 총합이 모든 평가대상자에게서 일정하게 나타난다는 단점이 있습니다. 이를 보완한 것이 Partial Ipsative 방식입니다. Partial Ipsative에서는 한쪽에는 실제로 측정하는 문항, 다른 한쪽에는 실제로는 측정하지 않는 더미(Dummy) 문항을 제시하고 평가자로 하여금 평가대상자가 어느 쪽에 가까운지를 평가하게 합니다. 물론 두 진술 모두 대체로 바람직한 진술입니다. 그래서 평가자는 어느 쪽으로 응답해야 평가대상자를 관대하게 평가하는 것인지 모르고 응답하게 됩니다. 그리고 한쪽 방향으로만 채점이 되기 때문에 각 평가대상자마다, 그리고 평가 항목마다 점수의 총합이 상이하게 됩니다. 즉, Partial Ipsative 방식을 사용하게 되면 평가자의 왜곡 평가 경향을 완화할 수 있으면서도 평가 결과의 개인 내 비교, 개인 간 비교가 모두 가능하게 됩니다. 단, 이 방식을 쓰기 위해서는 문항 개발의 노하우와 전문성이 필요합니다.
이상으로 다면평가를 할 때 나타나는 관대화 경향에 대응할 수 있는 몇 가지 방법을 간단하게 살펴 보았습니다. 조직의 필요와 상황에 따라 다양한 대안을 활용할 수 있으므로 전문가와 상의해 보시기 바랍니다.

BSC
BSC

댓글 남기기

이메일은 공개되지 않습니다. 필수 입력창은 * 로 표시되어 있습니다.