2019/02/08

【評価・テスト】見えないものを測る Vol.1『見えないものを測る』

評価・テストは、学習者の理解度を測るだけではなく、教授法を振り返る機会にもなります。しかし、一方で妥当性や弁別性など様々な観点から、その方法には注意が必要です。普段から行われている「評価・テスト」について、今一度議論を深めます。
2019.02.08 update

もうすぐ僕も就職活動か。就職支援ガイダンスでは「社会人はコミュニケーション能力が重要」って何度も強調していたけど、僕のコミュニケーション能力って、どうなんだろう。高いのか、低いのか、自分じゃ全然分からないし…。「重要」だっていうなら、身体測定みたいにちゃんと測って教えてくれればいいのに。って、無理か…。

ちょっとすみません、私はけんたろうという、今日この大学に用事があって伺った… まぁ通りすがりの研究者ですが、今、興味深いことをおっしゃっていましたね。

え!? な、何がでしょうか?

お名前は何とおっしゃいますか?

…マナブです。

マナブさんですね。マナブさんのコミュニケーション能力を測ってほしいというご意見、興味深いです。でも最後に無理とおっしゃっていたのは、なぜでしょうか。

えっと、コミュニケーションって、よく分からないというか、姿形がなくて見えないじゃないですか。だから、身長みたいに測るのは、無理なのかなって…。

ああ、なるほど。コミュニケーション能力は確かに、物理的な量として測ることはできませんよね。でも、 直接目に見えないモノ で、しかも 抽象的に定義された概念 であっても、数値を割り当てるルールをちゃんと決めてあげれば、 間接的に測ることはできる のですよ。

え、測れる、のですか!?

コミュニケーション能力のようなものは、質も大事ですが、量を測ることも同じく大事なことですからね。それらを測るために使うのが、「 テスト 」です。

ああ、テスト…。大学に入ってやっと減りましたが、高校のときなんかは、本当に毎日、やらされていましたよ。正直、テストにいい思い出はありませんが。

そうでしたか、それはお疲れ様でした。テストは学生さんにとっても身近なものですよね。中間テストや期末テストなどもありますが、マナブさんが毎日受けていたというのは、小テストなどでしょうか。
それらはもしかすると、「測る」ためというよりは、問題を解くことで 「力をつける」ことを目的としている かもしれません。教材としてのテストですね。練習問題、試験対策としての過去問題などもそうですね。

え、小テストって、何かを測っているわけじゃないのですか。

結果としては測っているかもしれません。しかし、小テストの本来の 目的 は、必ずしも測ることではないかもしれません。

テストには「目的」がある

目的、ですか。

テストには本来、 目的があります 。入試は分かりやすいですよね。合否の分類、つまり 選抜すること が目的です。資格試験もそうですね。
あとは、企業が採用試験として適性検査をすることもありますが、これは選抜が目的のこともありますし、選抜ではなく、結果を面接のための参考資料としたり、入社後の配置検討のために使うこともあります。

なるほど~。

他にも、自動車教習所で効果測定というのがありますが、これは、技能教習や学科教習の内容をどれほど習得しているか、それらの 効果の確認 が目的です。
テストの目的はまだまだ色々ありますが…、一例を挙げておきますね。

テストの目的の例

解説
テストを使用する際には、必ず目的があるはずです。実際にテストを使用する前に、まず、その目的を明確にしておくことが重要です。もし目的に対して、あるテストだけでは満足な評価ができないと考えられる場合には、たとえば面接や実技などの他の手段に変えたり、あるいはそれらと併用したりする必要が出てきます。

テストっていうと学校でのテストをイメージしちゃいましたが、確かに色々ありますね。性格テストみたいなものもあるから、「コミュニケーションのテスト」もありそうですね。そっか、それを受ければ、僕のコミュニケーション能力も分かりますね!

そうですね、コミュニケーション関係のテストは、多分、色々存在はしていると思います。しかしですね、 品質 が保証されているテストというのはどうでしょう。たまたま見つけてきたテストなどはそうではないかもしれませんね。

テストの「品質」とは

テストに品質があるのですか?

はい、テストにも品質があります。テストで能力測定を目的とするときは、 「同じ能力」なら「同じスコア」になる ことが理想です。
たとえば、温度を測りたいときに温度計を使いますよね。今ここの温度は、だいたい20℃ぐらいだと思いますが、本当の温度が同じ20℃なのに、あるときは24℃を指したり、またあるときは16℃を指したり、という温度計だったらよくないですよね。困ります。そんな測定器は信頼できません。こういう測定器は 信頼性が低い といえます。
逆に、温度が同じならだいたい一定した値を指す温度計は、信頼性が高いといえます。
でも、ここの温度って実際は20℃なんですよね。20℃のはずなのに、いつも17℃を指しているというのは、やはりこれもよくない。不正確です。 測りたい「今のここの温度」は測れていない ことになります。これは、 妥当性が低い といいます。

ええっと… 信頼性と… 妥当性と…。

信頼性の高低と、妥当性の高低の関係を、図示してみましょう。ちょっとこの図を見てみてください。ダーツを的に向かって投げたように、円の中心にある星を目指して実際にテストという道具で測った結果が、赤丸です。この図の見方、分かりますか?

テストの信頼性と妥当性

あ、はい…、信頼性が高いテストだと、図の上段の2つの円のように、 何回か投げてもだいたい同じ場所に当たる ってことですよね。でも信頼性が低いテストだと、下段の2つの円のように、当たる場所がバラバラ。
妥当性は、 的の中心を目指せているかどうか 、ですか? 妥当性が低い左側の2つは、全体的に中心からずれていますね。図の左上なんて、信頼性は高いのに妥当性がずれているから、的の内側の円にはほとんど当たっていないですね。

そのとおりです。素晴らしいですね。
特に 本当にソレを測れているのか という妥当性の問題は、「~力」のように抽象的な概念を測ろうとしているときは、とても重要な問題になります。
私はサイコメトリシャン(psychometrician)なので、テストの品質を追求していますが、他のテスト作成者にも、作成者だけでなくテストを使う一般の方々にも、その重要性を知っておいていただきたいと常々思っています。

さいこめとりしゃん…? マジシャンみたいですね。

マジシャンとは全然違いますが、目に見えないものを測る、 心理測定を専門とする人 のことです。欧米にはたくさんの研究者や実務家がいるのですが、 日本では非常に少ない のです。ぜひ学生さんにはこの道に興味をもってもらいたいのですが…。あっ! マナブさん、そうですよ! 一緒にテストを作ってみませんか? マナブさんの目的にピッタリで、品質もバッチリのコミュニケーション能力テストを、作ればいいのですよ! できると思いますよ。

え、テストを作る? 僕が? 先生の急に輝きだした目に何か企みがありそうで気になりますが、でも確かに、測ってみたいし、テストを作るというのも面白そう。やってみたい気もしますが…。

ありがとうございます、決まりですね! じゃあ次回から早速いきましょう!

え。

テスト作成は、このようなステップで行っていきます。

テスト作成のステップ

む、難しそうです…。

大丈夫です。1つずつ一緒にやっていきましょう。
最初に絶対しなければいけないのは、テストの 目的・用途を決める こと。繰り返しですが、 まず何か目的があって 、テストはそのために使われるものです。テストの作成は、これを明確にすることから始まります。
マナブさんは、何のためにコミュニケーション能力を測るのでしたか。その目的と用途を、ぜひ次回までに考えてきてくださいね。では次回またお会いしましょう!

ええええええ。

突然マナブをテスト作りに巻き込んだ、けんたろう先生。会話内容やイラストは多少脚色されていますが、このシリーズに登場するけんたろう氏は実在する人物です。ベネッセ教育総合研究所でテスト作りやその指導、既存のテストの品質チェックなどの仕事を行っています。

今回のポイント
  • テストには、目的がある。
  • テストを能力測定のための道具と見なすとき、「同じ能力」なら「同じスコア」となることが理想である。
  • 測るためのテストの基本的な品質を決めるのは「信頼性」と「妥当性」である。

プロフィール

加藤 かとう 健太郎 けんたろう

■専門領域

心理測定学および統計学
テスト理論に基づくテスト開発および関連する統計的手法の研究開発(サイコメトリシャン)

■やっていること

ベネッセ教育総合研究所におけるアセスメント研究開発
アセスメント事業の開発・運用サポート(ベネッセ、その他受託案件等)
最新の測定技術に関する情報収集・研究(学術論文・専門書の執筆、学会発表)
学術誌の論文査読委員
講演・研修会講師
大学非常勤講師

「テストについての正しい知識と、テストへのポジティブな興味関心をもっていただきたいと願っての連載です。テスト結果の数値の意味についても説明していこうと思います。次回以降もぜひ読んでみてください!」

※プロフィールや所属団体などは取材時のものです。
【企画制作協力】(株)エデュテイメントプラネット 山藤諭子、柳田善弘 ライター 向井愛