【評価・テスト】見えないものを測る Vol.3『データの収集』

前回のマナブさんの集中力は素晴らしかったですよ。がんばりましたね。テスト作成のステップのとおり、最初に、今回作る テストの目的・用途 を決めました。そして、テストの基本設計図である フレームワーク を作り上げました！

初めてのことだらけでした。最初は、「コミュニケーション能力」を測るといっても、一体何を測るのか、ぼんやりしたイメージしか持てていませんでしたが、先生と話しているうちに、 「新社会人予備軍である大学生の、『言葉で、自分の考えを伝える力』」 になりました。そのあとに行動指標を思いつく限り集めるというのをやりましたが、あれは、楽しくもありつつ、意外にハードでした…。

お疲れ様でした。たくさん用意できましたね。そして、その行動指標を、決めておいた 「項目仕様」 に基づいて厳選・修正し、 「テスト項目」 に仕上げました。
「テスト項目のレビュー」 も、次のポイントのチェックを、私と研究所メンバーで済ませておきましたよ。

これで最初のテスト項目が30個できました。項目の集まりがテストですからね、もうテストが一応の形になりましたね！

もうテストになりましたか！

ただ、これはまだ 試作品 なので、ちゃんと機能するかどうか確認しなければいけません。それに、モノづくりというのは、トライアルを重ねて改良していくものです。さあ、今回は、 実際にこのテストを受けてもらうための準備 をします。
テストを作る過程で、実際に受けてもらう機会は、大きく分けて「プレテスト（Pretesting）」と「予備実査（Field Testing）」の2種類があります。

プレテストと予備実査の準備をする

何が違うのですか？

プレテスト は、一応の形になった段階で、少数の対象者に実際に受検してもらうテストです。回答中の様子を観察したり、実際に回答にかかった時間を確認したり、分かりにくいところはなかったか、どのように考えてその回答になったか、などのヒアリングを行います。また、必要に応じて正答率などの結果の要約も簡単に行います。 これらの結果をもとに、必要があれば項目や仕様の修正を行います 。その次の段階である、予備実査で多くの人にテストを受けてもらうことになりますが、もしこちらの想定どおりの出題や受検をしてもらえなければ、せっかくの機会が無駄になってしまいます。だから、予備実査前のこの段階で、そのような可能性をできるだけ排除しておくのです。

なるほど。そんなことになったらもったいないですね。

予備実査 は、テストの本格的な性能評価のためのデータ収集が目的なので、そのテストが対象とする母集団を十分に代表している人に幅広く、テストを受検してもらいます。テストデータから、どの項目が使えるか、信頼性はどの程度かなどを確認します。回答をどのように採点するかや、テストスコアの尺度も、この段階でほぼ決定します。この 予備実査で、テストの内容が決定されます 。

はい！　ではまずはプレテストからですね。試供品モニターみたいな感じでしょうか。少人数で構わなければ、僕の友人何人かに頼めると思います。

ありがたいですね。しかし回答者は偏らない方が望ましいので、年齢や性別、学校、学部なども、 幅広い人 から回答いただけるように意識はしておいてください。特にプレテストのあとの予備実査では、そこで収集したデータを比較の基準とします。可能な限り、 想定している対象者を「代表」しているといえる人たちを抽出 して、データを集める努力が必要になります。

あらゆる大学生を「代表」しているように集めるのですか。同じ大学内なら、なんとか違う学年や違う学部の人にも頼めるかもしれないですが、それもドキドキです。他の大学となると、ツテもなくて厳しいです…。

まあこれも経験ですので、できる範囲でがんばってみてください。大学生は比較的こういう試みに協力的な方が多いですよ。

人数はどれぐらい必要でしょうか。

統計学的には、多ければ多いほど望ましいです。まあ現実的には、今回の場合のプレテストは10～20人ぐらいでいいと思いますが、予備実査はテスト項目数の5～10倍ほしいので、今回はシンプルなテストなので少なめとしても、200～300人程度はほしいですね。

300人ですか！　ちょっとハードルが高いなぁ。先生、ウェブを使ってもいいですか？　フォームを使ってウェブ上で回答できるようにして、SNSなどでそれを広くシェアしてもらうという感じで…。

ウェブを使うのは、利点も欠点もありますので、それらを踏まえて検討していきましょう。ウェブ調査は、テスト冊子の印刷やデータ入力の手間が省けたり、時間や場所を選ばず回答してもらえるといった利点があります。専門の調査会社に頼めば、想定する母集団に近いサンプルを集めてくれますし、データ収集にかかる時間も短くて済みます。その一方で、受検者それぞれの環境で気軽に回答できる分、真面目に回答してくれるかどうかという疑問があります。本当に想定している本人が回答しているか、確認できないことも多いです。謝礼の受け渡し方法も検討が必要ですね。
現状では課題も多いですが、デジタルネイティブ世代に、今後積極的に良い方法を編み出していっていただきたいとも思っています。

良い方法がないか、ちょっと考えてみます。あと先生、 謝礼 も必要なのですか。

状況によりますが、データ収集に協力くださった受検者の方には、いくらか謝礼をお支払いすることもあります。現金、金券、ポイント、あるいは粗品など、方法はいろいろありますが。今回はそれらの費用は、私の研究所からお出しすることにします。

よかったー！　ありがとうございます！

そして、はい、こちらは今回のテストの 説明書と同意書 です。作っておきました。テストを受けてもらう前にそれで インフォームドコンセント を取ってください。 受検者一人ひとりに、どういう目的でどういうテストをするのか、どのようなデータを集め、どのように扱うのかをきちんと事前に説明して、同意を得ておく必要がある のです。もし、同意できないという人がいたら、そのような人に受検を強制することはできませんし、受検を拒否したことで、その人に何らかの不利益が生じることもあってはいけません。これらはそのための書類です。

インフォームドコンセントって、病院で医者とかが病状や治療方針を患者に十分に説明し、患者が十分に理解したうえで同意をする、ってやつですよね。説明と同意ですか。テスト作成もいろいろ本格的なのですね。
作成のステップのなかの 「データの収集」 は、文字で見ていると勝手に簡単そうな気がしていましたが、なかなか大変なのですね。

分かっていただけますか！　嬉しいですね。マナブさんももう本物のテスト開発者の顔ですよ。

いやいや、そんなはずは。

実に嬉しいですねぇ。
さあ、ではまずはプレテストからですね。お互い次回までに集めてきましょう！