“AI가 자기소개서나 면접을 평가한다고요? 믿을 수 있나요?”

요즘 HR 현장에서 정말 자주 듣는 질문입니다.

사람의 말은 애매하고 복잡한데, 과연 AI가 그런 응답을 정교하게 평가할 수 있을까요?

​

■ 결론부터 말하자면, 가능합니다.

다만, 전제 조건이 있어요. AI가 ‘제대로’ 배우려면 사람이 만든 기준이 먼저 있어야 하죠. 그 기준이 바로 루브릭(Rubric)입니다. 

그리고 그것을 AI에게 가르치는 과정이 파인튜닝(fine-tuning)입니다.

​

■ “파인튜닝이 뭐예요?”

간단히 말해, AI에게 ‘무엇이 좋은 답인지’ 계속 보여주며 학습시키는 것입니다.

AI는 스스로 기준을 만들지 못해요. 사람이 먼저 평가 기준을 정하고, 예시 응답들과 점수(라벨)를 주면, 그걸 반복적으로 학습해 판단력을 갖추게 됩니다.

​

■ 예를 들어볼게요!

‘자기이해’ 항목을 평가한다고 해봅시다. 다음의 질문이 주어졌다고 하죠.

“당신은 어떤 사람인가요?”

​어떤 응답은 막연하고 추상적일 수 있습니다.

그리고 또 다른 응답은 구체적인 경험과 자기 성찰이 담겨 있을 수 있죠.

이걸 사람이 3점, 5점 등으로 점수를 매기고, 그 결과를 수백, 수천 개 학습시키면 AI는 점점 그 기준을 내면화하게 됩니다.

​

■ 그럼 이걸 어떻게 만드느냐?

다음의 단계들을 거치게 됩니다.

1. 평가 항목 정의: 자기이해, 지원동기, 커뮤니케이션 등

2. 루브릭 설계: 항목마다 구체적 행동지표와 점수 기준

3. 응답 데이터 수집: 실제 자소서, 면접 답변 등

4. 전문가 라벨링: 평가자가 직접 점수를 부여

5. 대화형 포맷으로 구조화: LLM이 이해할 수 있는 형식으로 변환

6. 모델 학습 실행: OpenAI, HuggingFace 등 플랫폼 활용

7. 성능 검증: 사람과 AI의 평가가 얼마나 일치하는지 확인

8. 실전 배포: 평가봇, 시뮬레이터, 웹앱 등으로 활용

​

■ “꼭 이렇게 복잡하게 해야 하나요?”

꼭 파인튜닝까지 하지 않아도,

- GPT API를 활용한 프롬프트 채점

- 임베딩 기반 점수 분류기도 쓸 수 있습니다.

하지만 정확도·신뢰도·일관성은 아무래도 파인튜닝이 가장 높습니다.

​

■ 마무리

AI가 사람처럼 평가한다는 건, AI가 ‘생각’하는 게 아니라 사람의 생각을 '학습'했다는 뜻입니다.

좋은 AI는 결국 좋은 기준을 가진 '사람'이 만든다는 말, 그냥 비유가 아니에요.

<사람의 전문성 → 데이터 → AI → 실전 평가 도우미>

이 연결 고리를 만드는 게 파인튜닝입니다.

(AI 요약)

​

[ 전체 글은 블로그 참조: https://blog.naver.com/bsc_hr/223880303207 ] 

(글: 비에스씨 연구소)