평가도구의 조건
1. 타당도
타당도란 하나의 검사 또는 평가도구가 측정하려고 의도하는 것을 어느 정도로 충실히 측정하고 있느냐를 의미한다.
타당도는 내용타당도, 준거타당도, 구인타당도, 결과타당도로 구분한다. 내용타당도는 하나의 검사가 측정하려는 타당성의 준거를 그 측정도구의 내용, 즉 내적 준거에 비추어 보는 타당도이다. 내용타당도를 결정하는 주요 과정은 각 검사문항의 내용을 그 검사가 대표하고자 하는 내용 및 행동의 전체집단과 비교하는 과정으로, 전문가가 볼 때 검사문항이 전체 집단을 적절하게 대표하고 있다고 판단되면 그 검사는 내용타당도를 지닌 것으로 간주한다.
준거타당도는 하나의 검사가 관련된 다른 특성이나 행동을 얼마나 잘 여언하느냐의 정도를 의미한다. 준거타당도는 예언타당도와 공인타당도로 구분될 수 있다. 예언타당도는 하나의 평가도구가 피검사자의 미래의 행동이나 특성을 얼마나 정확하고 완전하게 예언하느냐의 정도를 의미한다. 공인타당도는 하나의 검사가 관련된 특성을 측정하는 다른 검사의 결과를 얼마나 잘 예언하는냐를 나타내는 타당도이다.
구인타당도는 하나의 검사가 과학적으로 명확하게 규명되지 않은 어떤 심리적 특성이나 성질을 측정했을 때 그것을 과학적 개념으로 분석하고 의미를 부여하는 과정으로 규정할 수 있다. 구인타당도의 개념은 평가자 또는 연구자로 하여금 검사가 측정하고 있는 특성에 관한 정확한 정의와 다른 변인과의 상호관계를 보다 명확히 제시하는 데 관심을 갖도록 하였다.
결과타당도란 검사나 평가를 실시하고 난 결과에 대한 판단으로 평가 결과와 평가 목적과의 부합성, 평가 결과를 이용할 때의 목적 도달 여부, 평가 결과가 사회에 주는 영향 그리고 평가 결과를 이용할 때의 사회의 변화들과 관계있다.
2. 신뢰도
신뢰도는 측정하고자 하는 것을 얼마나 안정적으로 측정하고 있는지의 정도를 의미한다.
신뢰도는 규준지향평가를 위한 검사 도구에 적용할 수 있는 신뢰도와 준거지향평가에서의 신뢰도로 나눌 수 있다. 규준지향평가에서의 신뢰도는 다음 네 가지로 구분할 수 있다. 첫째는 재검사 신뢰도이다. 한 개의 검사를 동일한 대상자들에게 두 번 실시해 처음 점수와 나중 점수의 상관계수를 산출하여 신뢰도를 추정하는 방법이다. 둘째, 동형검사 신뢰도이다. 이는 표면적인 내용은 다르지만 이론상 동일한 특성이나 능력을 측정하는 것으로 가정할 수 있는 두 개의 동형검사를 제작하여 동일한 대상자들에게 두 번 실시해서 두 검사에서 얻은 점수의 상관관계를 산출하여 신뢰도를 추정하는 방법이다. 셋째, 반분검사 신뢰도이다. 한 개의 검사를 동일 피험 집단에게 한 번 실시한 다음 그것을 적절한 방법에 의해 두 부분을 분할하고, 분할된 두 부분을 독립된 검사로 간주하여 두 부분 사이의 상관계수를 계산하여 신뢰도 계수를 측정하는 방식이다. 넷째, 문항내적 합치도이다. 검사에 포함된 문항 하나하나를 독립된 검사로 간주하여 모든 문항에 대한 반응의 일관성을 종합한 것이다.
준거지향평가에서의 신뢰도는 일관성을 의미한다. 같은 검사를 두 번 실시했을 때, '목표도달-미달'과 같은 분류결정이 어느 저도 일관성이 있는지, 또는 특정 영역에서의 성취 정도가 어느 정도 일치하는지를 의미한다.
신뢰도와 타당도의 관계를 정리하자면, 신뢰도는 타당도의 필요조건이지만 충분조건을 아니라는 것이다. 따라서 높은 타당도를 확보하려면 반드시 신뢰도가 높아야 한다. 그러나 신뢰도가 높다고 해서 반드시 타당도가 높은 것은 아니다.
3. 객관도
객관도란 채점자에 의해서 결정되는 일종의 신뢰도라고 할 수 있기 때문에 채점자 신뢰도라고도 한다. 객관도는 한 가지 반응결과에 대해 여러 평가자 사이의 채점이 일치하는 정도를 의미하는 '평가자 간 객관도'와 한 평가자가 시간적 간격이나 상황의 차이에 따라 같은 대상에 대한 평가결과가 일치하는 정도를 나타내는 '평가자 내 객관도'의 두 가지 경우로 구분된다. 그러나 평가자 내 신뢰도와 평가자 간 신뢰도는 서로 동떨어진 별개의 것이 아니라 평가자 내 신뢰도인 평가자 개인의 일관성이 전제될 때 평가자 간 신뢰도가 높아진다.
객관도를 높이기 위해서는 첫째, 명확한 평가의 기준을 미리 마련해 두고 객관적이고 구체적이며 실제적인 자료 수집에 노력해야 한다. 둘째, 평가자가 평가하려는 내용과 평가방법에 대한 소양을 길러야 한다. 셋째, 비객관적인, 비구조화된 평가도구인 경우에는 가능하면 여러 사람이 공동으로 평가하여 그 결과를 종합하는 것이 객관성을 높이는데 도움이 된다.
타당도란 하나의 검사 또는 평가도구가 측정하려고 의도하는 것을 어느 정도로 충실히 측정하고 있느냐를 의미한다.
타당도는 내용타당도, 준거타당도, 구인타당도, 결과타당도로 구분한다. 내용타당도는 하나의 검사가 측정하려는 타당성의 준거를 그 측정도구의 내용, 즉 내적 준거에 비추어 보는 타당도이다. 내용타당도를 결정하는 주요 과정은 각 검사문항의 내용을 그 검사가 대표하고자 하는 내용 및 행동의 전체집단과 비교하는 과정으로, 전문가가 볼 때 검사문항이 전체 집단을 적절하게 대표하고 있다고 판단되면 그 검사는 내용타당도를 지닌 것으로 간주한다.
준거타당도는 하나의 검사가 관련된 다른 특성이나 행동을 얼마나 잘 여언하느냐의 정도를 의미한다. 준거타당도는 예언타당도와 공인타당도로 구분될 수 있다. 예언타당도는 하나의 평가도구가 피검사자의 미래의 행동이나 특성을 얼마나 정확하고 완전하게 예언하느냐의 정도를 의미한다. 공인타당도는 하나의 검사가 관련된 특성을 측정하는 다른 검사의 결과를 얼마나 잘 예언하는냐를 나타내는 타당도이다.
구인타당도는 하나의 검사가 과학적으로 명확하게 규명되지 않은 어떤 심리적 특성이나 성질을 측정했을 때 그것을 과학적 개념으로 분석하고 의미를 부여하는 과정으로 규정할 수 있다. 구인타당도의 개념은 평가자 또는 연구자로 하여금 검사가 측정하고 있는 특성에 관한 정확한 정의와 다른 변인과의 상호관계를 보다 명확히 제시하는 데 관심을 갖도록 하였다.
결과타당도란 검사나 평가를 실시하고 난 결과에 대한 판단으로 평가 결과와 평가 목적과의 부합성, 평가 결과를 이용할 때의 목적 도달 여부, 평가 결과가 사회에 주는 영향 그리고 평가 결과를 이용할 때의 사회의 변화들과 관계있다.
2. 신뢰도
신뢰도는 측정하고자 하는 것을 얼마나 안정적으로 측정하고 있는지의 정도를 의미한다.
신뢰도는 규준지향평가를 위한 검사 도구에 적용할 수 있는 신뢰도와 준거지향평가에서의 신뢰도로 나눌 수 있다. 규준지향평가에서의 신뢰도는 다음 네 가지로 구분할 수 있다. 첫째는 재검사 신뢰도이다. 한 개의 검사를 동일한 대상자들에게 두 번 실시해 처음 점수와 나중 점수의 상관계수를 산출하여 신뢰도를 추정하는 방법이다. 둘째, 동형검사 신뢰도이다. 이는 표면적인 내용은 다르지만 이론상 동일한 특성이나 능력을 측정하는 것으로 가정할 수 있는 두 개의 동형검사를 제작하여 동일한 대상자들에게 두 번 실시해서 두 검사에서 얻은 점수의 상관관계를 산출하여 신뢰도를 추정하는 방법이다. 셋째, 반분검사 신뢰도이다. 한 개의 검사를 동일 피험 집단에게 한 번 실시한 다음 그것을 적절한 방법에 의해 두 부분을 분할하고, 분할된 두 부분을 독립된 검사로 간주하여 두 부분 사이의 상관계수를 계산하여 신뢰도 계수를 측정하는 방식이다. 넷째, 문항내적 합치도이다. 검사에 포함된 문항 하나하나를 독립된 검사로 간주하여 모든 문항에 대한 반응의 일관성을 종합한 것이다.
준거지향평가에서의 신뢰도는 일관성을 의미한다. 같은 검사를 두 번 실시했을 때, '목표도달-미달'과 같은 분류결정이 어느 저도 일관성이 있는지, 또는 특정 영역에서의 성취 정도가 어느 정도 일치하는지를 의미한다.
신뢰도와 타당도의 관계를 정리하자면, 신뢰도는 타당도의 필요조건이지만 충분조건을 아니라는 것이다. 따라서 높은 타당도를 확보하려면 반드시 신뢰도가 높아야 한다. 그러나 신뢰도가 높다고 해서 반드시 타당도가 높은 것은 아니다.
3. 객관도
객관도란 채점자에 의해서 결정되는 일종의 신뢰도라고 할 수 있기 때문에 채점자 신뢰도라고도 한다. 객관도는 한 가지 반응결과에 대해 여러 평가자 사이의 채점이 일치하는 정도를 의미하는 '평가자 간 객관도'와 한 평가자가 시간적 간격이나 상황의 차이에 따라 같은 대상에 대한 평가결과가 일치하는 정도를 나타내는 '평가자 내 객관도'의 두 가지 경우로 구분된다. 그러나 평가자 내 신뢰도와 평가자 간 신뢰도는 서로 동떨어진 별개의 것이 아니라 평가자 내 신뢰도인 평가자 개인의 일관성이 전제될 때 평가자 간 신뢰도가 높아진다.
객관도를 높이기 위해서는 첫째, 명확한 평가의 기준을 미리 마련해 두고 객관적이고 구체적이며 실제적인 자료 수집에 노력해야 한다. 둘째, 평가자가 평가하려는 내용과 평가방법에 대한 소양을 길러야 한다. 셋째, 비객관적인, 비구조화된 평가도구인 경우에는 가능하면 여러 사람이 공동으로 평가하여 그 결과를 종합하는 것이 객관성을 높이는데 도움이 된다.
댓글
댓글 쓰기