"정성평가의 정량화 시급"

내부 ·외부 평가자 결과 재평가 U's Linel승인2013.07.19 08:10

크게

작게

메일

인쇄

신고

최근 들어 대학가에 자주 회자되는 말의 순위가 있다면 ‘정성평가’가 빠지지 않을 것이다. 이유는 앞으로 대학평가가 정성평가로 옮아가는 이유도 있겠지만 아직 정성평가에 대한 객관화가 이뤄지지 않아 대학간, 혹은 교육당국-대학간 마찰이 예상되고 있기 때문이기도 하다. 정성평가의 객관화 즉 계량화가 필요하다는 제기다. 그래야 정성평가의 합리서을 기반으로 대입이 확장될 수 있다는 반론이다.

그렇다면 질을 양으로 환산할 수 있을까? 항상 가능할 수는 없지만, 그리고 그 것이 완벽한 경우도 드물지만, 그럴듯한 시도를 알아보는 것은 흥미롭다. 한편 매우 필요한 일이기도 하다. 정량을 위한 정성평가의 계량화가 아니라 정성평가의 확대를 위한 정성평가의 계량화다.

한 조직을 효과적으로 운영하는데 있어 그 질적 성과를 양으로 평가하는 것은 반듯이 필요하다. ‘측정할 수 없으면 평가할 수 없고, 평가할 수 없으면 관리할 수 없다.’는 피터 드렁커(Peter Drucker)의 말은 평가의 절실한 필요를 역설하고 있다. 하지만, 실제로 정성 평가(질을 평가하는 것)는 그리 만만한 일이 아니라는 것이 곤혹스러운 문제다. 이래서 정성평가를 기피하는 이유가 되기도 한다.

채용, 보직, 교육, 승진, 급여, 사기 등 조직 운영의 핵심 기능은 모두 평가에 기반을 둔다. 평가 없이 채용할 수 없으며, 평가 없는 보직은 성과를 보장할 수 없다. 교육, 승진, 급여 모두 평가에 기초를 두어야 하며, 평가는 구성원의 사기 및 생산성에 결정적인 영향을 미치므로 객관성과 공정성을 담보해야 한다. 그러나, 성과의 양을 평가하는 것이 아니라 질을 평가해야 하는 경우 객관성과 공정성을 확보하는 일은 매우 어렵다. 때로는 경영자의 무지함 때문이요, 때로는 경영자가 권력의 단맛을 포기하기 어렵기 때문이다.

인간은 태어나면서부터 평가와 선택(선택은 곧 평가의 결과)의 연속 속에 살고 있다. 수많은 행동 중에서 어떤 행동을 할 것인지를 끊임없이 평가하여 선택한다. 의식하든 하지 못하든, 다른 사람과 관계를 맺고 사귈 때에도 예외 없이 머릿속에서 평가를 한다. 배우자를 고르는 것과 같은 중요한 일을 할 때는 더 복잡한 평가 기준을 들이대는 것이 일반적인 모습이다. 물론 사랑에 빠지는 특별한 경우가 발생하는데, 이 때는 복잡한 평가 기제의 작동이 무력화되어 배우자 결정을 단순하고 신속하게 만들기도 한다.

계량화의 시도는 오래전에 이미 시도되었다. 1792년 영국의 캠브리지 대학에서는 최초로 학생을 평가하는 필기시험이 치러졌는데, 오늘날 학생 평가의 기초가 되었다 (Wikipedia). 시험을 치르게 했다고 해서 평가를 잘 하게 되었음을 뜻하는 것은 아니다. 평가는 항상 결함을 지니고 있고, 이를 보완하기 위한 노력은 오늘날까지 계속되고 있다.

어떤 회사원이 작성한 보고서의 품질을 어떻게 측정할 수 있을까? 영국의 논문 평가 방식에서 힌트를 얻어 보자. 학생의 과제물이나 논문을 평가하는 것은 정성 평가의 대표적인 예이다. 제출된 글자 수 또한 사용한 단어 수 등 정량적 기준으로 논문을 평가할 없다. 교수가 과제물의 질을 평가해 낼 수 있어야 학생은 그 기준에 따라 학업 성취를 높이고자 하는 동기를 가지게 된다. 또한 교수는 학생에게 어떤 지도가 필요한지를 알 수 있게 된다.

<표 1>은 논문을 평가하여 점수로 환산해 내기기 위한 평가표이다. 평가 대상의 정성적 요소를 세분화(평가 항목의 세분화)하여 이에 대한 질적 등급을 설정함으로서 정량화가 가능함을 보여주고 있다. 막막하게 느껴지던 논문의 질이 점수로 환산될 수 있음이 흥미롭다. 평가자가 자의적으로 평가할 수 있는 위험을 내포하고 있지만, 제3의 내부 평가자 및 외부 평가자에게 평가 결과를 재평가하게 함으로써 그 위험을 봉쇄하고 있다.

<표 1> 논문 평가 기준표

항목

점수

Factual knowledge

(사실지)

Conceptual under-

standing

(개념이해)

Analytical ability

(분석력)

Application/problem solving

(응용/문제해결)

Capability (where relevant)

(역량-필요시)

Critical ability

(비판력)

Expression of ideas

(사고표현)

Originality

(독창성)

80+

Comprehensive

Complete and thoroughly assimilated

Highly developed and mature

Tackles new applications with ease

Complete mastery of all techniques

Highly developed

Fluent and well structured

Considerable

70-79

Comprehensive

Complete

Highly developed

Tackles most new applications with ease

High level of technical competence

Highly developed

Clear and well structured

Some

60-69

Minor gaps

Good overall grasp

Well developed

Makes a good attempt at tackling new applications

Sound technical competence with few gaps

Generally well developed

Clear and well structured

Little or none

50-59

Minor gaps

Fair overall grasp

Reasonably developed

Makes some attempt to tackle new applications

Competent in routine techniques

Superficial only

Some lack of clarity and immaturity of expression

None

40-49

Some major gaps

Partial grasp

Some evidence of ability

Makes little attempt to tackle new applications

Low level of technical competence, numerous errors

Poorly developed

Poorly constructed with some confusion

None

30-39

Many major gaps

Very little grasp

Very little analytical ability

Incapable of tackling new applications

Very low level of technical competence with many major errors

None

Very confused and lacking in clarity

None

Below 30

Very patchy

Much confusion

No analytical ability

Incapable of tackling new applications

Total lack of technical competence with many major errors

None

Total inability to express ideas

None

정성 평가 계량화의 또 하나의 예는 영국의 TV 방송 중에 “X Factor”라는 쇼에서 찾아볼 수 있다. 가수 지망생들이 노래 경연을 벌여 나가면서 매주 탈락자가 생기고, 연말에 가서 마지막으로 한 사람이 살아남는 서바이벌 방식의 프로그램이다. 이 쇼에서는 매주 탈락자를 가르기 위하여 참가자의 노래를 평가하게 된다. 처음에는 평가 패널의 선택에 따라 탈락자가 결정되지만 맨 마지막에는 시청자의 투표에 의해 결정된다.

<영국 TV쇼 'X Factor'의 평가자들>

마치 오늘날 많이 보급되어 있는 다면평가와 비슷한 형태이다. 이 투표 방식이, 타당성 높은 평가를 해내는 지의 문제를 별도로 한다면, 가수의 역량이라는 정성적 평가 요소를 계량화하고 있다는 점은 명백하다. 물론 많은 참여자 있을 경우 어느 정도 타당성을 확보할 수는 있지만, 투표의 기준(평가 요소)이 명확하게 제시되어 있지 않고 있다는 점을 염두에 두어야 한다.

정성 평가를 계량화하여 수치로 표현해내는 일은 어렵지만 중요하다. 많은 사람들이 성과 평가를 싫어하지만, 동시에 자신이 일을 잘 했음을 알려주고 싶어 한다. 그런데 ‘내가 일을 잘 했다‘는 것을 알게 하는 것이 성과 평가임이 딜레마다.

위 두 가지 사례를 조직의 성과 평가에 그대로 적용할 수는 없지만, 정성 평가의 계량화가 가능하다는 점을 보여주고 있다는 측면에서 시사하는 점이 있다. 딜레마 해결에 하나의 힌트가 되었으면 한다.

※ 평가자는 각 평가 항목에 따라 하나의 등급(예: 60-69)을 선택한다. 항목별로 획득한 점수의 평균을 계산한다. 이 때 평가자는 특정 항목에 가중치를 둘 수 있다. 위의 예처럼 평가를 받았다면, 71점 내외의 계량화된 점수를 얻을 수 있다.

※ 평가자는 ‘서술식 평가 의견’을 함께 제시함으로써 피평가자가 자신이 획득한 점수의 의미를 충분히 이해할 수 있도록 돕는다.


U's Line  -
<저작권자 © U'sline, 무단 전재 및 재배포 금지>

U's Line의 다른기사 보기

인기기사

기사 댓글
첫번째 댓글을 남겨주세요.
0 / 최대 400byte

숫자를 입력해주세요

욕설등 인신공격성 글은 삭제합니다.


회사소개기사제보광고문의불편신고개인정보취급방침이메일무단수집거부
유스라인  |  서울 아01588  |  등록일자 : 2011년 4월 2일  |  발행인 : 박병수  |  편집인 : 박병수  |  주소 : 서울시 서초구 강남대로 109길 67-4 (잠원동 10-31)
발행일자 : 2011년 10월 3일  |  전화번호 : 02-2275-2495  |  메일 : news@usline.kr  |  청소년보호책임자 : 김하늬
Copyright © 2020 U'sline. All rights reserved.