【評価・テスト】見えないものを測る Vol.2『テストの目的とフレームワーク』

こんにちはマナブさん。さあ、楽しい楽しいテスト作りに入りますよ！
前回もお伝えしましたが、テスト作成のステップは、このような内容でしたね。

テスト作成のステップ

よろしくお願いします。初めてなので、ドキドキです…。

大丈夫ですよ。もちろん私も一緒に進めますし、大変なところは、私が所属する研究所のメンバーにも手伝ってもらえることになりましたから。

あ、ありがとうございます…。

テストの「目的」や「用途」を精査する

さて、前回もお伝えしたように、テスト作りはまず、テストの 目的や用途を明確にする ことから始まります。
マナブさんは、テストを何に使うのでしょうか。そのために何を測り、そして、誰を測るのでしょうか。整理できましたか？

一応、考えてはきました。
目的は、 自分のコミュニケーション能力が、社会に出たときに通用するのか、どのレベルにあるのかを知ること です。自己理解とか、現状把握とかのためです。

なるほど。では、社会に出たときには、特にどのようなコミュニケーション能力が求められると思いますか？

えっと。何だろう。コミュニケーションといえば、 「自分の考えを伝える力」 と、「相手の考えを受け取る力」の両面 があるように思いますが、仕事で、特に新社会人だと、 伝える力の方が大事 なのかな？　報告・連絡・相談を上手にするのも、伝える力、ですよね？

確かにコミュニケーション能力にはいくつもの要素があり、広い概念ですよね。概念が広すぎてモヤモヤするようなときは、 絞ってみるのも１つの方法 です。新社会人の伝える力に絞ると、分かりやすそうですね。
ちなみに、「伝える」というと、一般的には、言語と非言語の2種類の手段があるといわれています。非言語手段は、表情やジェスチャーなどですね。

言葉で伝える力は必須ですよね。あとは表情やジェスチャーですか…。うーん、仕事だと、表情とかで伝える力っていうのは、必須というほどでもないような気が。たとえクールでも、言葉でちゃんと伝える方が大事そうな気がするのですけど、僕は。

では、さらに絞れましたね。

あ、本当ですね！　そうなると、何を測るのかは、 「言葉で、自分の考えを伝える力」 ですね。誰を測るかは、 新社会人予備軍の、僕たち大学生 でいいでしょうか。

分かりました。もうすぐ社会に出る大学生の「言葉で、自分の考えを伝える力」の、標準的なレベルと自分のレベルを比較して、自己理解につなげるためのテストを作りましょう！　
さてマナブさん、これで、テスト開発のステップの1つめ 「テストの目的・用途を決める」 と、次の 「テストのフレームワークを作る」のなかの「構成概念の定義」 も固まってきましたよ。

あれ？　そうなのですか？

テストの基本設計図となる「フレームワーク」

テストのフレームワークとは、 テストの基本設計図 です。具体的なテスト項目を作るための、さまざまな 仕様や規格 を定めるものです。

しよう？

何かを作るときに決める、いろいろなルールや決まりをまとめたもの、とでも言ったらよいでしょうか。何をどのように測るのかというルールを作っておかないと、それに合わないテスト項目を作ってしまうこともありえるので、最初にルールを決めておく必要があるんですね。
そのなかで最初に必要なのが、「構成概念の定義」で、これは、 測りたい能力を明確化 することです。これが曖昧だと、どうしても妥当性は高くなりません。

あ、確かにさっき、絞っていって決めましたね。

はい、ではその次は、 「行動指標の同定・収集」 です。定義した能力の候補となる 行動の記述 をできるだけ多様に、たくさん集めます。

行動？　記述??

たとえば、「考えを筋道立てて話す」「話すときはあまり会話が途切れない」「敬語を適切に使用できる」のように、定義した能力に関する行動を、文のような形で表したものです。そのひとつひとつを行動指標と呼んでいます。

えっと、集めるということですが、どうやって集めれば…？

次のような方法が考えられますが、でもとにかく色々やってみましょう。選別はあとで行います。この段階では、取りこぼしのないように、ある程度数を出すことが大切です。

先ほどの「考えを筋道立てて話す」のような行動を、このテストで測っていくってことですよね？　でも先生、どうやって測ればいいのですか？　何か課題を出して、できているかどうかチェックするのですか？

一定の課題と採点ルールを作るというのは、実はなかなか大変な作業です。私はテストというのは、測りたいものを楽に測れるようにするものだと思っています。測るのにわざわざ苦労するものだと、テストをする意義も弱いのではないでしょうか。なので今回は、効率化を考えて、 自己報告形式 でよいのではないかと感じています。マナブさんが初めて作るテストでもありますし。

自己報告ということは、「自分はできます」と答えれば、できることになるのですか？ ええっと、それでいいのでしょうか…。確かに、できているかどうかというのも、見る人が変われば判断も変わるかもしれませんし、採点ルールを作るのも大変そうなのは分かりますが。

そうですね。自己報告の場合、客観性は低くなるかもしれません。この場合、あくまでも、 自分の伝える力を自分でどう認識している かを測っていることになります。このテストの目的は、「自己理解のため」でしたので、自己報告でも目的から外れていないと考えることはできると思います。

ああ、そういうことか。確かに、入社後に上司が僕の出来を評価するために使うという目的じゃないですもんね。

回答者に誤解させないように、自己理解のためなので自分を 「社会的に望ましい」姿に見せる必要はない こと、ありのまま回答してほしいことを、回答用紙に大きく書いて注意喚起しておいてもよいかもしれません。

分かりました。自己理解が目的なら、自己報告式でも、まあいいかなと思えてきました。
先に決めた目的が、効いてきますね！

はい、目的・用途を決めておかないと、至る所で判断がブレてくると思います。
そして、実は今私たちがしていたのは、テスト作成のステップの 「テストおよび項目の仕様を決める」 の作業そのものです。ここでは、テストの回答者は自分か他人か、どのような項目をどの程度含めるのか、そして、項目の内容・形式・レベル・プロセスなどの仕様を定めていきます。

自己報告式にするかどうかも、仕様だったのですね。あとは何を決めればいいのですか。

そうですね、テスト形式では、評定式は「はい」「いいえ」の二者択一式なのか、段階を見る評定尺度なのかとか、項目数はどれぐらいにするか、とかですかね。項目仕様では、今回は、文言の統一や長さ、行動指標が偏らないようにどの分類から入れるか、とかでしょうか。

できるかどうかの問いに二者択一で答えるのは、答えづらいかも…。

そうですか。性格テストでも 評定尺度 が一般的です。それでは選択肢が5つの 5件法 ぐらいがいいかもしれないですね。

分かりました。あと項目数っていうのは、テストに入れる問題というか、質問文の数のことですよね。どれぐらいがいいものなのでしょうか。僕は全然分かりません…。

今回は構成概念がぐっと絞られたので、そうですね、最終的には20項目ぐらいで問題ないのではないでしょうか。 項目は取捨選択して減らしていくので、最初は多めに用意します 。このテストはそれほど回答に時間がかからなさそうなので、最初は30項目ぐらいあっても大丈夫かもしれませんね。

最初は30項目ですか。で、その30項目をどうやって作るかというのは…。

そう、先ほど説明した「行動指標」から作ります。行動指標は抽象的なので、仕様に基づいて、具体的にテスト項目に落とし込みます。

行動指標を30個は集めなければならないのですね。

この段階ではあまり数は気にせず、とにかくたくさん出すことが大切です。

そ、そうですか。

「言葉で、自分の考えを伝える力」に関わる行動を、まず書き出してみましょう。私は先行研究もチェックしてみます。それらをいったん整理して、そこから記述をさらに増やしていきましょうか。

ですが、先生、そろそろ疲れて頭の動きが鈍くなってきたのですが…。

じゃあ休憩しましょうか。脳のエネルギー源になる甘いお菓子もありますよ。お茶もいれますから、リラックスして、楽しく考えてください。

やった！

次回は予備実査の準備に入りたいので、できれば次回までに項目を完成させたいですね。

いっきに項目完成ですか！　アメと、ムチ…？

いえいえ、アメと、クッキーと、チョコレートもありますよ。

…いただきます。