「評価の評価基準」：信頼性・妥当性・客観性・効率性

今日の午前中は、家事をしながらgaccoの動画「インタラクティブ・ティーチング」Week６を、斜め見。今回は「評価」についての話。

教える機会のある人におすすめ！「インタラクティブ・ティーチング」

2014.12.04

▼

今回は「評価の評価基準」が簡単にまとめられていて参考になった。

(1)信頼性(Reliability)：結果の再現性、テストの精度。
同じ集団に同質の試験を何回行っても同じ結果が得られるか。物差しの正確さ。

(2)妥当性(Validity)：評価方法の適切性。
用いる評価方法が測定対象となる能力や行動を測定できているか。

(3)客観性(Objectivity：採点者間による結果の一致性。
採点者が変わっても結果が同じかどうか。

(4)効率性(Efficiency)：評価の時間的・経済的な実用性
実施や採点が容易であるかどうか。

このうち、「(1)信頼性、(3)客観性、(4)効率性は両立しやすく、しかしそういう場合は(2)妥当性が担保しにくい」という話が特に面白かった。

▼

例えばマークシート型の記号選択試験は、結果がぶれず(1)、誰が採点しても同じ結果が出て(3)、しかも採点は楽ちんだ(4)。しかし、問題はそれが一体何の能力を測っているのかという(2)妥当性の問題では大きな疑問が残る。「まぐれ当たり」や「消去法」で答えが出る記号問題は、自分が解答内容を十分に理解していなくても、正解できてしまう試験だからだ。

では、「選択問題はダメだ、論述だ！」とすればいいかというと（いや自分も期末はオール論述なのだけど）、そう単純でもない。(2)妥当性の点では記号問題より良いが、複雑なぶん、(1)信頼性（採点基準が途中でぶれる可能性あり）や(3)客観性（他の人が採点したら全然違う結果になる可能性あり）の点で疑問があり、(4)効率性に至っては、非常に時間がかかるのが明らかだ。また、(2)妥当性にしたところで、問題の設計によっては「本当はじっくり考えて論理を組み立てる力を見たいのに、実際のテストでは、とにかく早く問題を処理して早く文章を書く能力を測っている」という危険もある。

▼

なるほどなあ、と思う。ふだん自分が感じていることを、こういう言葉で説明できるのか。基本的にこの講座はこれから大学教員を目指す人のためのものなので、現役の中等教育教員にはすでに「知っている話」も多い。でも、知っていることとできていることは全く別だし、経験があることをあらためて言葉で説明されると納得する。今回も勉強になりました。

ちなみに評価については、次の本もお薦めします。僕はこの本を読んで著者である吉田新一郎氏に連絡をとり、そしてライティング・ワークショップを知ったのでした。個人的にも想い出深い本（笑）