面接官同士の評価のぶれに関する話です。
選考のご相談で、「面接官によって評価がばらばらなので、そろえたい」という声はとてもよく聞きます。背景は会社によって違いますが、よくうかがうのは次のような声です。
- 2人で面接すると評価が割れ、最後は役職が上の面接官の意見で決まってしまう
- 面接官がそれぞれの感覚で評価しているので、共通の物差しで評価してほしい
そこから、面接官トレーニングをお願いできないか、という話に進むこともあります。トレーニングは大切ですが、ぶれの原因によっては、トレーニングより先に手を打つべきところがあります。
評価がそろっても、正しいとは限らない
どのご相談も、目指しているのは面接官同士の評価をそろえることです。評価が一致する度合いを、選考の研究では評価者間信頼性と呼びます。
ところが、評価がそろうことと、評価が正しいことは別の話です。面接で、誰もが納得する正しい評価を言い当てることはできませんが、仮に正しい評価があるとして考えてみます。図1は、1つの的を1人の応募者、的の中心をその人の正しい評価、的に打った点を面接官ひとりひとりの評価として、それぞれの違いを示したものです。
選考で目指すのは、A の状態です。点がまとまり、どれも的の中心に当たっている、つまり面接官全員の評価がそろい、正しい評価に当たっている状態です。選考では、応募者ひとりひとりについて、この状態を目指します。
B は、点がきれいにまとまっているのに、中心から外れたところに集まっています。面接に置き換えると、面接官全員の評価がそろっている、つまり評価者間信頼性は高いのに、そろって外れていることになります。そして C は、点が散らばっているうえに中心から外れていて、評価が割れ、しかも外れている状態です。
面接では、B がめずらしくありません。面接官が全員、同じ思い込みに流されて評価を誤ることがあるからです。その理由は、こちらの記事で詳しく解説しています。
もちろん、評価者間信頼性に意味がないわけではありません。評価が割れていれば、少なくともどちらかは外れているので、評価が一致していることは、正しく評価するための前提になります。
問うべきは、ぶれではなく精度
評価が割れ、しかも外れている図1の C の状態で、ぶれだけを抑えようとすると、C から B へ移るだけになることがあります。評価がそろっても、そろって外れたままでは、選考の精度は上がりません。目指したいのは A で、そのためには問いを立て直す必要があります。問うべきは「ぶれをどうなくすか」ではなく、「入社後のパフォーマンスの予見の精度をどう高めるか」です。
スポーツのビデオ判定を思い浮かべてみてください。テニスや野球、サッカーで導入が始まったころは、「試合の流れが止まる」「審判の判定も競技のうちだ」という反対の声もありました。それでも導入は次々に進み、いざ使ってみると受け入れられて、今では反対の声はずいぶん少なくなっています。それは、試合の流れを保つことよりも、精度の高い判定のほうが大切だと、選手も観客も気づいたからだと思います。
選考の評価も同じです。面接官同士の評価がそろうかどうかよりも、評価が正しいかどうかのほうが、はるかに大切です。そして精度を高めるには、まず、いまのぶれがどこから生まれているのかを知る必要があります。ぶれの出どころによって、打つべき手が変わるからです。
ぶれは、3つの出どころから生まれる
ぶれの出どころは、3つに分けられます。どれも面接官同士の評価を割れさせ、そのうえ評価を正しい評価から外れさせることもあるものです。
- 偶然によるぶれ：面接官がその日は疲れていた、直前の応募者の印象が残っていた、といった、そのときどきの事情で生まれるぶれ
- 設計によるぶれ：評価要素や評価基準が決まっていなかったり、あいまいだったりして、面接官がそれぞれの経験に頼って評価するために生まれるぶれ
- 設計が守られないことによるぶれ：設計はあるのに、面接官が評価要素を見ずに全体の印象で評価したり、決めた質問や深掘りをしなかったりして生まれるぶれ
「ぶれをなくしたい」というご相談を受けて、どのように選考を進めているかをうかがうと、たいていは次のような状態です。
- 評価基準がないか、あってもあいまい
- 面接官が評価要素を見ずに、全体の印象で評価をつけている
- 質問や深掘りの進め方が決まっていないか、決まっていても面接官が守っていない
どれも、設計によるぶれか、設計が守られないことによるぶれに当たります。私がご相談を受けてきた会社では、ぶれの多くがこの2つから生まれていました。なお、設計が無いと、評価が割れるだけでなく、面接官が全員、同じ思い込みに流されて、図1の B のようにそろって外れることもあります。
自社でぶれに気づいたら、確かめることは2つです。そもそも評価要素や評価基準などの設計が定まっているかと、その設計が守られているかです。自社の選考について、この2つにすぐ答えられますか？
どちらも満たしていて、それでも残るのが偶然によるぶれです。偶然によるぶれは、どれだけ選考を整えてもゼロにはなりませんが、面接官同士の目線を合わせておくことで、幅を狭めることはできます。
設計によるぶれは、設計を整えて取り除く
設計によるぶれを取り除くには、評価要素を決め、それぞれについて、どのような行動をどのレベルとするか（評価基準）と、どの評価手法で評価するかを定めます。設計が無いまま面接官同士で評価をすり合わせても、そろうのは面接官の感覚で、そろったからといって正しいとは限りません。
設計で何を決めれば精度が上がるのかは、こちらの記事で詳しく解説しています。
設計が守られないことによるぶれは、面接官トレーニングで取り除く
設計は何をどの基準で評価するかを示すもので、面接官がそれに沿って評価してはじめて、評価は図1の A に近づきます。設計があっても守られていなければ、設計が無いのと変わりません。
設計を守ってもらうために必要なのが、面接官トレーニングです。評価要素・評価基準・質問をまとめた面接設計書を面接官に配り、それをもとに、設計どおりに面接を進める練習をします。守られているかまで確かめるなら、応募者の許諾を得たうえで面接を録音や録画で残し、面接官の評価が設計どおりかを見るのが本来は望ましい方法ですが、そこまでできる会社は多くありません。
中心になるのは、エピソードを掘り下げて行動事実を集める方法を身につけることです。行動事実を集めきれないことも、設計が守られないことによるぶれのひとつです。行動事実の集め方は、こちらの記事で詳しく解説しています。
もう1つ、トレーニングで行っておきたいのが、評価基準どおりに当てはめてもらうための目線合わせです。面接のやりとりを書き起こした事例を使って各自で評価し、評価が割れたところで、どの行動事実をどのレベルとみなすかをそろえていきます。
設計を守ってもらうための作業ですが、偶然によるぶれの幅を狭めることにもつながります。どの行動事実をどのレベルとみなすかの手がかりを共有していれば、その日の調子で判断が揺れる余地が小さくなるからです。
研究でも、評価の枠組みをそろえる面接官の訓練（Frame-of-Reference 訓練、以下 FOR 訓練）は、評価の正確さを高めると報告されています。同じ研究では、評価基準の各レベルに行動の例を添えた評価尺度、つまりレベルの違いを行動で書き分けた評価基準でも、同じように効果が見られたとされています[1]。
FOR 訓練は評価基準の中身を面接官で共有する訓練なので、そろえる先の評価基準があってはじめて成り立つものだと私は考えています。
入口は「ぶれ」で構わない
ぶれに気づけるのは、面接官ごとの評価をきちんと見ているからです。ですので、「面接官同士の評価のぶれをなくしたい」という入口から考え始めることは、まったく問題ありません。大切なのは、そこで問いを精度に立て直すことです。
避けたいのは、ぶれに気づいたところで「面接官トレーニングをすればそろうはずだ」と考えてしまうことです。設計が無ければ、トレーニングでそろえる先がありません。
ぶれをなくそうとして、面接官同士で評価をすり合わせてそろえるだけなら、選考の精度は上がりません。精度が上がるのは、ぶれの出どころを見きわめ、設計によるぶれは設計を整えて、設計が守られないことによるぶれは面接官トレーニングで取り除いたときです。
選考設計クラウド「SPADE」（公開準備中）
SPADE では、評価要素ごとの評価基準を、9段階の標準レベルをもとに定義できます。面接官全員が同じ評価要素と評価基準を手元に置いて評価するための土台です。設計した内容は、そのまま面接官トレーニングの材料にもなります。詳しくは、SPADE のご案内をご覧ください。
参考文献
- Melchers, K. G., Lienhardt, N., von Aarburg, M., & Kleinmann, M.（2011）．Is more structure really better? A comparison of frame-of-reference training and descriptively anchored rating scales to improve interviewers' rating quality. Personnel Psychology, 64(1), 53–87． ↩
