評価基準の段階の話です。
あるお客様では、各評価要素を1から4までの4段階に分け、そのあいだの評価も許して、1・1.5・2・2.5・3・3.5・4の7段階で評価しています。社内の人事評価の制度と同じ物差しなので、選考と入社後の評価がつながっていて、それ自体はとても良い設計だと思います。
ところが、長年の文化の積み重ねで、なぜか1と4はほぼ誰もつけないことになってしまっています。1.5がついたら相当低い評価（1がつかないので実質は最低評価）、3.5がついたらスーパーがつくほど優秀な人への評価（4がつかないので実質は最高評価）という扱いです。初期の選考段階なので、1.5以下を不合格にして、相当低い評価の人だけを落とす運用をしています。
実際に評価をしてみると、3.5がつく学生は年に数人ほどで、3がつくのも1日50人ほどが受ける選考で2〜3人です。その結果、8割ほどの学生が2と2.5に集まります。評価会議でも「1.8くらいの2」「2.7くらいの2.5」といった評価が次々と出てきて、私はこれを、学生を見分けられていない状態だと考えています。
評価が真ん中に集まると、何が起きるか
選考で最終的にいちばん必要なのは合否の情報なので、2も2.5も合格であれば、このままでも選考は回ります。ただ、2.5の中でも特に優秀な学生には優先的に次の選考を案内したり、惹きつけに力を入れたりと、プロセスの上で扱いを変えたい場面があるはずです。
また、次の選考への申し送りや、入社後の配属を考えるときにも、詳しい評価の情報が必要になる場面は多くあります。2と2.5の2つの箱に8割が入っている状態では、こうした使い方に耐える情報になりません。
「1.8くらいの2」という言い方は、評価者が本当は見分けたいのに、物差しの目盛りが足りていないことのあらわれです。評価者の腕の問題というより、評価基準の側の問題だと考えるほうが自然だと思います。
なぜ真ん中に集まるのか
評価が真ん中に集まる現象は、古くから評価のくせとして知られています。
研究ではこれとは別に、評価がどこか1点に集まって人を見分けられなくなる状態を「範囲の制限」と呼んで区別しています[1]。集まる先が真ん中であっても、甘めの側や辛めの側であっても、人を見分けられないという点では、合否などの判断に同じように害があるとされています。
このお客様の場合は、中心化傾向に「1と4はつけない」という文化が重なっています。7段階あっても実際に使われるのは5段階で、しかもその真ん中の2つに集中しているわけです。そのうえ、評価基準の言葉が真ん中のあたりで粗く、2と2.5の違いを言葉で説明できないので、評価者は「1.8くらい」と数字で言い表すしかなくなります。
その評価を何に使うのかを先に決める
では、段階の数を増やせばよいかというと、そう単純ではありません。段階の数についての研究では、2〜4段階の尺度は見分ける力が弱く、7段階くらいまでは増やすほど良くなるものの、その先はほとんど変わらないという結果が出ています[2]。消費者がサービスを評価した研究ですが、シミュレーションでも4〜7段階が最もよく、7段階から先はほぼ伸びないとされています[3]。
そこで先に決めておきたいのが、その評価を何に使うのかということです。評価の情報には、人と人を比べて合否や順番を決めるための使い道と、本人の強みや課題を把握して次につなげるための使い道があり、1つの評価を両方に使うことも珍しくありません[4]。
初期の選考段階で相当低い評価の人だけを落とすのであれば、見分けるべきは合否の境目だけです。一方で、優先的な案内や申し送り、配属にも使うのであれば、評価が集まっている2〜3のあいだを見分けたくなります。その情報を何に使うのかをきちんと整理したうえで、必要なところの見分けがつく評価基準にすることが大事だというのが、私の持論です。
評価が集まるところを、細かく分ける
見分けたいところが決まったら、その範囲を細かく区切ります。ここで大事なのは、段階を増やすだけで終わらせないことです。言葉のないレベルを増やしても、「1.8くらい」が「1.75くらい」になるだけだからです。
細かく区切ったそれぞれのレベルに、どのような行動が見られたらそのレベルになるのかを、行動の言葉で用意しておきます。行動の例でレベルを説明する評価尺度の考え方は、1960年代から研究されてきました[5]。このお客様であれば、評価が集まる2〜3のあたりを手厚くし、誰もつけない1と4の端は、つくり込む必要が薄いということになります。
中心化傾向そのものをなくすことはできないので、個人的には、それを前提にして基準をつくるのがよいと考えています。真ん中に置かれやすいとわかっているのであれば、真ん中こそ細かく、行動の言葉で区切っておくわけです。あわせて、評価の物差しをそろえる面接官トレーニングを行うと、人どうしを見分ける正確さが高まることも報告されています[6]。
物差しは、使い道に合わせてつくる
評価が真ん中に集まるのは、評価者のくせと物差しの粗さが重なった結果で、評価者だけを責めても解決しません。何にその評価を使うのかを決め、見分けたいところを細かく区切り、そこに行動の言葉を置いていく。物差しの側を、使い道に合わせてつくり直すことが出発点になります。
自社の選考の評価は、いまどのレベルに集まっているでしょうか？ 一度、評価の分布を並べてみると、どこの目盛りが足りていないのかが見えてくると思います。
SPADE ではどうしているか（公開準備中）
選考設計クラウド「SPADE」には、評価のレベルを細かく並べた「9段階の標準レベル」があります。1から5までを0.5刻みに並べたもので、それぞれのレベルに、どの評価要素にも共通する言い方を決めてあります。評価基準は、この9段階から使うレベルを選んでつくります。
スタンダードプラン：標準の段階から選ぶ
スタンダードプランでは、あらかじめ用意した3つの型から選びます。1〜5のすべてを使う標準5段階と、どちらかの端を置かない4段階（上寄せ＝2〜5、下寄せ＝1〜4）です。
4段階は、たとえば社内の評価制度が4段階で、それに合わせたいときに使います。上寄せは「行動できない」のレベルを置かない型で、下寄せは「圧倒的な水準で成果を出している」のレベルを置かない型です。
プロプラン：範囲を選び、手厚くする場所を選ぶ
プロプランでは、9段階の中から評価したい範囲を自分で選べます。いちばん下のレベル（最低基準）といちばん上のレベル（最高基準）を決め、その範囲を5段階か4段階に分けます。
範囲の中にあるレベルの数と、つくりたい段階の数がちょうど合えば、そのまま並びが決まります。たとえば2〜4の範囲には2・2.5・3・3.5・4の5つのレベルがあるので、5段階にすると0.5刻みの基準になります。
一方、範囲の中のレベルの数のほうが多いときは、どのあたりを手厚くするか（どこも同じ・下位・真ん中・上位）を選びます（結果が同じ並びになるものは選択肢に出ないので、範囲によっては選べるものが3つ以下になります）。2〜4.5の範囲には6つのレベルがあるので、5段階にするなら1つ、4段階にするなら2つのレベルを間引くことになり、どこを間引くかで、細かく見分けられる場所が変わります。
下位を手厚くすれば2〜3.5のあたりが0.5刻みになり、上位を手厚くすれば3〜4.5のあたりが細かくなります。冒頭のお客様の例でいえば、評価が集まる真ん中から下のあたりを手厚くした基準をつくるイメージです（お客様の尺度とSPADEの9段階は目盛りが違うので、数字がそのまま対応するわけではありません）。
選んだレベルには、あらためて「レベル1〜n」という名前が付くので、社内の評価制度と同じ段階の数に合わせながら、見分けたいところだけを細かくできます。必要に応じて、レベルとレベルのあいだの評価を許すこともできます。
各レベルの言葉は、中心化傾向などのくせも見込んだうえで、評価要素ごとにつくり込んであります。詳しくは、SPADE のご案内をご覧ください。
参考文献
- Saal, F. E., Downey, R. G., & Lahey, M. A.（1980）．Rating the ratings: Assessing the psychometric quality of rating data．Psychological Bulletin, 88(2), 413–428． ↩
- Preston, C. C., & Colman, A. M.（2000）．Optimal number of response categories in rating scales: Reliability, validity, discriminating power, and respondent preferences．Acta Psychologica, 104(1), 1–15． ↩
- Lozano, L. M., García-Cueto, E., & Muñiz, J.（2008）．Effect of the number of response categories on the reliability and validity of rating scales．Methodology, 4(2), 73–79． ↩
- Cleveland, J. N., Murphy, K. R., & Williams, R. E.（1989）．Multiple uses of performance appraisal: Prevalence and correlates．Journal of Applied Psychology, 74(1), 130–135． ↩
- Smith, P. C., & Kendall, L. M.（1963）．Retranslation of expectations: An approach to the construction of unambiguous anchors for rating scales．Journal of Applied Psychology, 47(2), 149–155． ↩
- Roch, S. G., Woehr, D. J., Mishra, V., & Kieszczynska, U.（2012）．Rater training revisited: An updated meta-analytic review of frame-of-reference training．Journal of Occupational and Organizational Psychology, 85(2), 370–395． ↩
