「主体性や粘り強さを、テストで測ることはできませんか。」選考設計のご相談で、ときどき受ける質問です。面接では面接官によって評価が割れるので、テストで客観的に測れるならそうしたい、というのがよくある背景です。

ここでいう行動特性とは、職種や役割にかかわらず仕事で求められる力のうち、実際の行動として表れるものを指します。主体性、周りを巻き込んで物事を進める力、粘り強さなどがこれに当たります。

行動特性を測れるとしているテストは、いくつかあります。性格検査の結果を「行動特性」や「コンピテンシー」の言葉に置き換えて示すもの、仕事の書類を処理させるもの、単純な作業の進み方を見るものなど、形はさまざまです。ただ、その多くは、受検者が自分について答えた質問紙の結果をもとにしていて、行動そのものを見ているわけではありません。

そうしたテストの中で、行動特性の評価に向いていると言われることが多いのが、状況判断テスト(SJT)です。仕事の場面を示して、そこで何をするかを問う形式なので、行動特性に最も近いところを問うテストだと考えられています。

ただ、個人的には、SJTも行動特性の評価には向いていないと考えています。

SJTは、選考で役に立つ

行動特性の評価に向いていないからといって、SJTが選考で役に立たないわけではありません。SJTは、選考の評価手法として長く研究されてきました。複数の研究をまとめた分析では、SJTの得点と入社後の職務の評価との相関は .26 で、中程度の予測力です[1]。

得点は採点の決まりで出るので、面接のように評価する人によってぶれることがありません。ルールを知っているかを確かめたい場面では、知っていること自体が評価の対象なので、SJTの形式がそのまま合っています。

対人場面を扱うSJTでは、医学部の入学時に受けたテストの得点が、7年後の研修での評価と9年後の仕事での評価を予測したという研究もあります[2]。この研究では、テストの得点が、研修での実際の対人行動を経て、仕事での評価につながっていました。知っていることは、行動の入口にはなります。

SJTは、選考で使う価値があると言えるでしょう。

望ましい回答は、選べてしまう

SJTの設問は、たとえば図1のような形をしています。仕事の場面が示され、その場面でとる行動の選択肢が並びます。

問

あなたは、5人のチームで顧客向けの提案資料をつくっています。提出は明日の朝です。夕方になって、メンバーの1人が体調を崩して帰宅しました。その人が担当していた分析のページは、まだ手つかずのままです。

このとき、あなたの行動として最も適切なものを1つ選んでください。

  1. A自分が代わりに分析を引き受け、今夜のうちに仕上げる
  2. B上司とチームに状況を伝え、残りの作業を分担し直す
  3. C顧客に連絡して、提出を数日延ばしてもらう
  4. D自分の担当分を仕上げ、分析のページは空けたまま提出する
図1 SJTの設問の例

選択肢を読み比べると、どれが望ましい回答かの見当がつくことは少なくありません。図1でいえば、望ましい回答は B でしょう。

A は主体的に見えますが、ひとりで抱え込んだまま、上司やチームが状況を知らずに終わります。C は顧客に負担をかけ、D は未完成の資料を出すことになります。B は、状況を周りに伝えたうえで、チームとして間に合わせる道を探しています。それぞれの選択肢がどのような結果を招くかを考えれば、B を選ぶことはそれほど難しくありません。

実際、SJTの設問から場面の説明を取り除いても、4〜7割の設問で得点に差が出なかったという研究があります[3]。高い得点をとる人は、場面を読み込んでいたのではなく、「こういうときは、こう振る舞うのが効果的だ」という一般的な決まりに沿って答えていました。

高得点の人が活躍するのは、行動特性のおかげか

望ましい回答を選べるかどうかは、場面を読み、選択肢を読み比べて、何が効果的かを推し量れるかに左右されます。これは行動特性というより、論理的に考える力、つまり知的能力に近い力だと私は考えています。

SJTの研究をまとめた分析では、SJTの得点と知的能力の相関は .32 で、「何をすべきか」を選ばせる形式に限ると .35 でした[1]。同じ分析で、知的能力のテストにSJTを加えたときに上がる予測の精度は、相関にして .03〜.05 にとどまります。反対に、SJTに知的能力のテストを加えると、.08〜.10 上がります。

SJTの得点が高い人が職場で活躍しているとしても、それは行動特性を発揮しているからというより、知的能力が高いからである部分が少なくない、というのが私の持論です。最終的に知りたいのは入社後のパフォーマンスの予見なので、高得点の人が活躍していればそれでよい、という考え方もあると思います。ただ、そうであれば、実施するのはSJTでなくても、知的能力を測るテストでかなりの部分を代えられるはずです。

ただし、SJTの得点がすべて知的能力で説明できるわけではありません。「自分ならどうするか」を選ばせる形式では、知的能力との相関は .19 と低いのに、予測の精度は「何をすべきか」を選ばせる形式と変わりませんでした[1]。研究者は、この分を、性格や経験から身についた、効果的な振る舞い方についての知識だと見ています[4]。

推し量る力も、振る舞い方の知識も、どちらも行動する前の段階のものです。SJTが測っているのは、どう振る舞えば効果的かを知っているかどうかで、その場面で実際にそう行動するかどうかではありません。

知っていることと、行動することの間には壁がある

知的能力だけでは、仕事での行動の違いは説明しきれないという見方は、新しいものではありません。

1973年、アメリカの心理学者デイビッド・マクレランドは、知能検査や学校の成績で人を選ぶことを批判し、仕事の成果を分けるものは、成果を上げている人の行動から探すべきだと主張しました[5]。成果を上げている人とそうでない人に、実際に取った行動を詳しく話してもらい、成果を上げている人に共通する行動を取り出していったのです[6]。

これがコンピテンシーという考え方の始まりで、日本で行動特性と呼ばれているものも、この流れの上にあります。

とはいえ、知能検査では仕事の成果を予測できないというマクレランドの主張には、その後の研究から反論が出ています[7]。知的能力が仕事の成果を予測することは、いまでは多くの研究で確かめられています。ですので、知的能力か行動特性かという二択ではなく、知的能力だけでは説明しきれない行動の違いがある、と捉えるのがよいと思います。

選考に立ち会っていると、考えられるけれど動けない人に出会うことがあります。問題の原因を的確に分析し、打ち手もよどみなく話せるのに、いざ自分が動く場面になると動かない人です。こうした人は、知っていることを問うテストでは、高い得点をとることがあります。テストの結果だけでは見分けられません。

分析で解に近づく場面と、動かなければ進まない場面

知っていることと行動することの差は、どのような場面で大きくなるのでしょうか。私は、仕事の状況の難しさによって変わると考えています。

仕事の状況を難しさで分ける枠組みとして知られているのが、カネヴィン・フレームワークです[8]。原因と結果のつながりがどこまで見通せるかで状況を4つに分けるもので、この記事に関わるのは、そのうちの「込み入った」と「複雑」の2つです。

「込み入った」状況では、原因と結果の関係は、分析すれば見えてきます。情報を集めて分析するほど解に近づくので、思考力がそのまま力になります。

「複雑」な状況では、原因と結果の関係は、動いてみた後にしか見えてきません。分析をいくら重ねても解には近づかず、まず手を打ち、返ってきた反応から次の手を決めていくしかありません。行動しなければ、コトは動きません。思考力は助けにはなりますが、それだけでは解にたどり着けず、行動できるかどうかが成果を分けます。

SJTは、どのような場面を扱っても、それを選択肢から正解を選ぶ問いに変えます。実際の仕事なら「複雑」でありうる場面も、選択肢が先に並んだ時点で、分析すれば正解に近づける「込み入った」問いになります。そのため採点ができ、知的能力が効くのも当然です。一方で、動いてみなければわからない状況で動けるかどうかは、選択肢から選ぶ形式では確かめられません。

研究でも、同じ映像の場面に、文章で答えさせた場合と、実際に行動して答えさせた場合とでは、差はそれほど大きくありませんでしたが、行動して答えさせたほうが、1年後の訓練の成績をよく予測したことが報告されています[9]。医師の選考では、行動を観察するアセスメントセンターが、SJTで捉えきれない予測を上乗せしていました[10]。

カネヴィン・フレームワークの4つの領域と、行動観察の課題との対応は、こちらの記事で詳しく解説しています。

行動特性は、行動を観察して評価する

行動特性は、行動を見て評価するのが一番確かです。面接でも、過去の行動事実を聞いて評価することはできます。ただ、それは応募者の話を材料にした間接評価で、話を聞いた面接官の判断が挟まります。行動観察であれば、その場の行動を直接評価できます。

直接評価と間接評価の違いは、こちらの記事で詳しく解説しています。

行動観察では、どのような場で行動を見るかを、人事が設計できます。相手の出方しだいで最善の手が変わるビジネスシミュレーションのように「複雑」な状況をつくれば、分析だけでは前に進まない場で、応募者が自分から動けるかを見ることができます。

予見のためにテストを使うなら、SJTにするか知的能力のテストにするかは、何を確かめたいかで選べばよいと思います。行動特性を評価要素に置くなら、テストとは別に、選考のどこかに行動を観察する場を設けてください。

選考設計クラウド「SPADE」(公開準備中)

SPADE では、評価要素ごとに、面接と行動観察のどの選考で評価するかを決めながら、選考全体を設計できます。行動特性のように、行動を見なければ評価しにくい評価要素には、評価要素に合わせた行動観察プログラムもそろえています。詳しくは、SPADE のご案内をご覧ください。

参考文献

  1. McDaniel, M. A., Hartman, N. S., Whetzel, D. L., & Grubb, W. L.(2007).Situational judgment tests, response instructions, and validity: A meta-analysis. Personnel Psychology, 60(1), 63–91. ↩
  2. Lievens, F., & Sackett, P. R.(2012).The validity of interpersonal skills assessment via situational judgment tests for predicting academic success and job performance. Journal of Applied Psychology, 97(2), 460–468. ↩
  3. Krumm, S., Lievens, F., Hüffmeier, J., Lipnevich, A. A., Bendels, H., & Hertel, G.(2015).How "situational" is judgment in situational judgment tests? Journal of Applied Psychology, 100(2), 399–416. ↩
  4. Lievens, F., & Motowidlo, S. J.(2016).Situational judgment tests: From measures of situational judgment to measures of general domain knowledge. Industrial and Organizational Psychology, 9(1), 3–22. ↩
  5. McClelland, D. C.(1973).Testing for competence rather than for "intelligence." American Psychologist, 28(1), 1–14. ↩
  6. McClelland, D. C.(1998).Identifying competencies with behavioral-event interviews. Psychological Science, 9(5), 331–339. ↩
  7. Barrett, G. V., & Depinet, R. L.(1991).A reconsideration of testing for competence rather than for intelligence. American Psychologist, 46(10), 1012–1024. ↩
  8. Snowden, D. J., & Boone, M. E.(2007).A leader's framework for decision making. Harvard Business Review, 85(11), 68–76. ↩
  9. Lievens, F., De Corte, W., & Westerveld, L.(2015).Understanding the building blocks of selection procedures: Effects of response fidelity on performance and validity. Journal of Management, 41(6), 1604–1627. ↩
  10. Lievens, F., & Patterson, F.(2011).The validity and incremental validity of knowledge tests, low-fidelity simulations, and high-fidelity simulations for predicting job performance in advanced-level high-stakes selection. Journal of Applied Psychology, 96(5), 927–940. ↩