研修効果測定手法の進化と実施の課題
私がお手伝いしている組織においても、短期的な研修に限らず、長期的なリーダーシップ育成や組織開発のプロセスなどで、効果測定はごく当然のように行われている。しかし、効果測定を効果的に行うには、まだまだ工夫の余地が残されており、これからさらに進化していくものと思われる。
関連するキーワード
研修の効果測定といえば、カーク・パトリックの4段階モデルやジャック・フィリップスのROIモデルがあげられるだろう。この4段階モデルが提唱されたのは40年近くも前になる。毎年、米国の人材開発関係者の集まりであるASTDの国際会議では、カーク・パトリックの講演が行われ続けてきたが、ついに昨年のASTDでご本人は引退講演を行った。この40年間、特に大きな考え方や技法の進展は見られず、それだけにこの理論が不動の地位を確保していたといえる。ジャック・フィリップスのROIモデルも、基本的な考え方は4段階モデルと整合性が高く、モデル自体は確立されたものとして捉えられてきたように思う。
では、この考え方だけで研修の効果測定は十分機能してきたのかというと、そこには疑問が残る。
サクセス・ケース・メソッド
新しい効果測定の試みとして注目されるのは、数年前にASTDで紹介された、ロバート・ブリンカホフ（Robert Brinkerhoff）によって開発された「サクセス・ケース・メソッド（Brinkerhoff’s Success Case Method ）」だ。サクセス・ケース・メソッドは、トレーニングで成果を上げた人を特定し、生み出した成果と成功要因を「サクセス・ケース」にまとめることで、効果測定や成果向上支援を行う効果測定法である。
この手法の特徴として、定量的なデータ以上に、ストーリーとしての「サクセス・ケース」に焦点を当てること、定量的なアプローチよりもシンプルで手間がかからないこと、また、成果向上を生み出す重要な要因として、トレーニングそのものよりも職場環境においていることがあげられる。
さらに、カーク・パトリックの4段階評価（Kirkpatrick’s Four Levels）は、トレーニングについて収集する情報のレベルを4段階（1.リアクション、2.ラーニング、3.応用、4.成果）に分類しているが、ブリンカホフのサクセス・ケース・メソッドでは、レベル4以上の部分についてはトレーニング自体の改善では向上せず、受講者のその後の環境を改善することで向上できるという立場に立っている。
そのため、サクセス・ケース・メソッドにおける効果測定は「トレーニングを評価すること」ではなく、「トレーニングで学習したことを組織がいかに成果に結びつけているかを評価すること」を目的とし、その結果として「トレーニング成果とビジネス上の業績の因果関係をより明確化すること」、「トレーニングの学習成果をビジネス上の業績に結びつけること」、「ビジネス上のニーズに対応したトレーニングを提供できるようになること」を目指す。
具体的なステップとして、まずは、最初の調査としてアンケートなどを活用し、トレーニングの受講者のなかで、最も成果を上げた人と最も成果を上げられなかった人を特定する。次に、最も成果を上げた人々に「何を、いつ、どのように活用したのか」、「どんな成果を上げられたのか」、「その成果は（金銭的に）どんな価値を生み出したのか」、「成果を生み出すことに影響を与えた環境要因にはどのようなものがあるのか」についてインタビューを行う。最も成果を上げられなかった人々にも「何が阻害要因になったのか」についてインタビューを行う。それらのインタビュー結果は「サクセス・ケース」としてストーリーにまとめられ、トレーニング効果の社内認知や、マネジャーが職場での成果向上支援を行う材料、トレーニングの改善に活用される。
サクセス・ケース・メソッドの活用事例（ASTD）
2007年に実施されたASTDカンファレンスでは、シスコ・システムズ社からSuccess Case Evaluation Method（SCM）を活用した事例が紹介された。シニア・リーダー層を対象としたリーダーシップ開発プログラムを実施した後、対象者に対して5分程度で回答可能なサーベイを実施し、効果のあった層、学習したことを活用しようと試みた層、まったく活用しなかった層に分類した。その後、30分程度のインタビューにより、効果のあった層の具体的な成果と促進要因、効果のなかった層の阻害要因を明らかにした。それにより、効果の高かった受講者に見られ、効果の低かった受講者には見られなかった促進要因も明らかになり、次年度の研修の改善に反映された。
このように、ブリンカホフのサクセス・ケース・メソッドは、適切に活用することができれば、効果測定と共に、トレーニングをより価値あるものにする影響要因に対し、人々の関心と取り組みをもたらすことができる、非常に有効な手法であると考えられる。
ありがちな効果測定と課題
サクセス・ケース・メソッドに限らず、日本ではどのような効果測定が行われているのかをみてみよう。残念ながら、現在、多くの企業で行われている研修や教育プログラムにおいては、効果測定が適切に実施されているとはいえない。
なぜなら、「リーダーシップ開発」、「コーチング」、「チームビルディング」などのテーマが始めに設定され、そのうえで内容の検討に入ることが多く、どんな成果を実現したいか、どのような効果を生み出したいのかという本質的な検討がおろそかになりがちなことが多いためだ。
どのような効果を生み出したいのかが曖昧なままでは、研修が終わってからいざ効果を測定しようとしても、何を測ってよいのか分からず、効果測定をすることができない。また、実現したい成果や効果が曖昧な状態では、人材開発担当者の焦点も実施しているプログラムにのみ当たってしまい、プログラムが終了した直後の受講者アンケートによる満足度や研修時点での理解度の測定といった反応的なレベルを測って終わり、という状態になってしまう。
効果測定のあるべき姿
それでは、効果測定はどのように行うべきなのだろうか。
何かしらの課題がある際には漠然としていても実現したい状態や達成したい状態があるはずであり、まずはそれらを明確にしたうえで、プログラムや学習プロセスのデザインをスタートすべきだ。達成したい状態が明らかになれば、たとえば研修や教育を行ったことで1年後にどんな効果を感じてもらえるか、終了して1週間後にどんな変化を実感するか、などの仮説をもってプログラムを開発することができる。
1週間後や10日後の現場の変化を目に見える形にし、さらにその変化が半年後や1年後にも価値をもたらす方法を考え、プログラムに組み込んでいく。そのうえで、それらの変化や価値が実際に生まれるかどうかを測定していく。このように、「何を達成したいか」、「何を測定するのか」を最初に設定しておけば、効果測定を行うのはそれほど難しいことではない。
また、あらかじめ実現したい状態を明確化し、研修を実施したことでそれに近づいたかどうかを測定し、その結果を人事や教育部門だけでなく参加者や組織や部門のトップに共有することができれば、研修が単なる学習機会ではなく、組織の実現したい状態につながる1つの手段として影響関係者に認知される。つまり、効果測定をすることで、一つひとつの研修の個別の価値を測るだけでなく、研修そのものが企業の戦略やパフォーマンスを上げる手段として大事なものであるということを社員やステークホルダーたちに認識してもらうことができるようになる。
効果測定の活用方法（ケース別）
ここからは、対象や目的に合わせてどのような効果測定が最適かを考えてみたい。
個人の能力を高めることを意図した研修の場合は、先に紹介したサクセス・ケース・メソッドを活用するのも効果的である。しかし、組織の変革やビジネスプロセスの変革を意図するアクションラーニング系や、オンサイトとオフサイトを繰り返し、本人を起点に組織の仲間たちに広げ、組織変革や組織開発や新たなチャレンジを生み出すような研修の場合の効果測定は、また別のやり方が必要になる。
個人の行動変容は1年程度で起きるかもしれないが、組織や集団全体の思考が変容し、新たなチャレンジが生まれて組織的に広がるには、企業規模にもよるが数年の継続した実施が必要になる。それらの活動は臨界点を越えると、集団の思考や行動や成果の大きな変容が生み出されるが、オフサイト1回ごとの個人にとっての短期的な価値や効果だけを測定したのでは大きな変化が見えづらく、取り組みを継続させづらい。
そのような長期的な価値や効果を計測する方法をいくつか紹介したい。
例えば、実施した1年後、参加者に対して1年間を振り返ってみた時に自分が参加した取り組みの価値を調査する方法である。その際、自分は組織においてどのくらい価値を生み出しているかの5段階評価とそのように考えた背景、その取り組みを今後継続することが自社にとってどのくらい大事と思うかの5段階評価とそのように考えた背景を聞く。個人にとっての価値と組織にとっての価値の両軸を、研修を行った直後ではなくて半年後や1年後に回答してもらうことで、そのプログラムの改善だけでなく、複数のプログラムを実施している場合、来期の展開に向けた各プログラムのスクラップアンドビルドに活用することができる。
例えば、組織内の課題の改善のために研修プログラムを実施した場合、「個人にとって価値が高いが組織にとって継続の価値はない」という結果が出れば、あらためて組織上の課題解決には何が効果的なのかを検討する必要性が見えてくるかもしれない。
私が担当しているA社では、組織全体を変革するための長期的な取り組みを実施しているが、単年度では大きな組織的な効果は出ない。そのため、個人にとっての価値と組織にとっての価値の2軸でプログラムをプロットし、受講者に対して1年後にアンケートを行い、継続し続ける価値があるかを測りながら、プログラムの改善やスクラップアンドビルドに役立てている。
さらに大がかりな投資をかける戦略的意図をもった研修やプログラムの導入の場合、投資コストをかけること自体が見合うものなのかをさらに踏み込んで効果測定していくことが大事になってくる。
例えば、B社やC社においては、プログラムを導入するうえで明確な戦略ゴールを設定し、市場に向けてイノベーションを生み出すために組織的な思考や行動を高めると同時に、単年度の業績も取り組みを通して上げたいというゴールが設定された。このプログラムの効果測定は、ROIの測定方式で実施した。この取り組みが個人の業績の金額の何％に貢献したかの認知を調査し、パフォーマンスへの貢献度を測定するものだ。全員の調査結果の数字を足し合わせることで投資金額を上回る効果が出ているのかを測定する。ただし、本人の認知で表される割合は大きくなりがちなので、通常は2か3で割った数字を使用する。この測定方法は近年の米国の効果測定のトレンドともなっている。
なぜ効果測定をするのか
研修や教育に限らず、基本的には効果測定を行うのは当然であり、測定したうえで続けるかどうか、どこを直すか、さらに改善するにはどうすればよいかを考えるのがマネジメントなのである。
効果測定は数値化しないといけないと思われがちであるが、何らかの形で結果を把握すれば効果は測定できる。
例えば、参加した人からの2週間後や1カ月後、半年後のアンケートで最近の変化を聞き、記述された内容を見ながら内容がどのように変化しているかを振り返るのでもよい。平均点が何点だから良い悪いということではなく、取り組んだことを活かすために効果測定をすることが必要なのである。
また、効果測定の結果にかかわらず、測定を行っていること自体が、その取り組みの実施を確実にすることもある。D社では、1年目の取り組みが終了した後、1年目の取り組みに価値があったかどうかを複数の軸で調査・集計して次年度以降の取り組みに向けて活かしていくというプロセスを経営陣や事業部門のトップへ示した。すると、実際の調査結果が出る前に事業部門のトップは、次年度の取り組みに継続して受講者を出すことを了承した。これは、測定結果ではなく、効果測定をしながらその取り組みをより良くしていこうという教育部門や人事部門のスタンスが重要であるということを示す事例ではないかと思う。
「可能な限りの事象を数値測定しようと努力したあのデミングですら、本当に意味のある事柄の97％までは測定が難しいものであると言っていた」と、MITの教授で、学習する組織の提唱者であるピーター・センゲから伺ったことがある。
だからこそ、私たちは感受性を高め、何を測るのか、どのように測るのか、自分たちに合った効果測定の方法は何かを模索し続けること、研修直後のアンケートだけではなく、簡単でもよいから参加者が現場に戻ってからの動きを確認して振り返る手段を生み出し続けることは、組織で人材育成に関わる人々に求められるある種の倫理観であると思う。
人材開発や組織開発に携わる者にとって重要な問いは、「自分たちの職務を通して、組織や人々にとってどのような価値や成果をもたらしたいか」ということであり、効果測定がしやすい、しづらいとかいうことに惑わされてはならないように思う。
「企業と人材」（産労総合研究所）2012年9月5日号掲載
