学生のプレゼンに対する教員たちの評価の一貫性: 良い発表のスコアは一致するものだ

 経営大学院の後期に、「イノベーション計画立案」というオムニバス形式のクラス授業がある。出席者は20人程度。二年制の院生向けに、プロジェクト研究(卒業論文)を指導するために用意された短い講座である。卒業生が経験談を話してくれたり、教授陣が自分の研究の話をしたりする。


 
 その中の重要なモジュールとして、二年制に入学してくる大学院生が、来年度の本番に向けて、自分のプロジェクト案を、10分程度で短くプレゼンするセッションがある。これが、7~8人ずつ、3日間に分かれて行われる。
 今年も、10月の授業で、短いプレゼンテーションを3人の先生が評価した。わたし自身は、10月中旬にIFEX(花の展示会)があったので、一回のみ休講(欠席)することになった。それ以外の二回は、評価者として学生の発表にスコアを付けている。
 スコアリングは、10点満点である。イノマネ方式では、「A+」が10点、「A」が9点、「A-」が8点、「B+」が7点、「B」が6点、「B-」が5点、「C+」が4点、「C」が3点、「C-」が2点、「D」(不合格)は1点である。

 この授業は、全体のとりまとめ役をわたしが行っている。なので、他のふたりの先生の素点を見ることができる。授業の最終スコア(100点満点)をつけるのもわたしである。そこで、各先生の評価の関連を見てみることにした。
 以下の表は、わたしを含んだ、A、B、Cの3人の先生が、#01~#15までの大学院生のプロジェクトを評価した得点である。評価の悪い学生の得点は、掲示しない。(授業時の発表順は、ライダマイズしてある)

 学生   教師A  教師B 教師C 
 #01    6    8    6
 #02    8    8    7
 #03    9    8    7
 #04    9    8    7
 #05    8    8    6
 #06    6    4    6
 #07    5    5    7
 #08    6    5    6
 #09    9    6    5
 #10    7    8    5
 #11    5    6    5
 #12    5    5    7
 #13    7    5    7

 (以下は、省略する) 

 <コメント> 
 全体的に、Aの教員は評価が甘い。Cの教員は、全体的にフラットな評価になっている。教員Bは、その中間である。学生の最終評価に反映されるのは、相対値である。成績分布は、絶対値ではない。だから、むずかしいのだ。
 この表を相関分析すれば、その傾向が見えてくる。たぶん、教師Aと教師Bでは、評価の一致度が高そうである。しかし、教師Cと二人のスコアは、あまり関連がなさそうである。全員が高得点で一致しているのは、#02~#04の3人だけである。これは、ごくふつうのことではないかと思う。

 人事評価でもそうだが、大学院生のように、あるレベルの能力を持った対象者になると、微妙な差を判定することがむずかしくなる。わたし自身も、出来不出来が中間のプレゼンでは、自分の評価にあまり客観性を感じられなくなる(3人の評価者の一人ではあるが、、、)。
 ただし、「とても良い発表」(3例)と「とても出来の悪いプレゼン」(例は、#13以降に出てくる)は、どの教員でも評価がほぼ一致するものである。事実、#02~#04の最終成績は、A+であった。