HOME  >  日々雑感一覧  >  テスト最新トピックス  >  「共通尺度」とは何だ?!~その3

「共通尺度」とは何だ?!~その3

検討委員会での先生方の議論は続きます。

「これは、アィ、アール、ティについて書かれた入門書です。」「何だって、アィ、アール、ティ、それって、一体、何のこと?」「そういえば、IRTっていえば、少し前の入試改革の話で目にしたことあるなあ。」「えー、入試だって?県内一斉テストは入試とは関係ないじゃん。」「ところで、先生さ、さっきから黙ってないでさ。こういう本があるよ、じゃなくてさ、IRTについて少し説明してよ。」「私も理解できているわけではないのですが、エーッと、たしか、この本の『はじめに』にあったぞ。そうそう、IRTというのは、Item Respose Theoryの略で、国内では『項目反応理論』とか『項目応答理論』とか訳されています。Itemは項目と訳されていて、テストに出題された問題のこと。Responseは反応とか応答。これは、受験生がテストに出題された問題に対する反応や応答ですね。そして、Theoryは理論だから、続けると、項目反応理論というわけです。」

「ヘーッ、理論だなんて、なんか難しそう。デェ、その何とか理論がどうしたっていうの?テストAとテストBの難しさがどうだとか、X君とY君の得点がどうしたとか、その辺のことが、この何とか理論でバッチリ解決できんの?」「この本によると、このIRTを使うと、テストに出題する問題が違っていても、今回の場合はテストAとテストBですが、テストの点数、この場合はX君の点数とY君の点数ですが、それらを互いに比較できるらしいんですよ。」「ホント?そりゃあ結構だ。つまり、X君がテストAを受けた100点と、Y君がテストBを受けた85点を比べて、どっちの方が上か、つまり、どっちの方が学力が高いかわかるということですか?」「そうですね、この本は、それができると言ってます。」「何で、そんなことができるんだろう。」

「どうしてを説明するのは簡単ではないのですが…。そうそう、『玉入れ力』の話を思い出してください。A地区の『玉入れ』で『玉入れ力』を測る時にも、B地区の『玉入れ』で『玉入れ力』を測る時にも、共通に使える『玉入れ力の得点表』です。」「あっ、これですね。」(『玉入れ力の得点表』は「共通尺度」とは何だ~その1を参照ください)
「はい、『玉入れ力』の考え方と、少し似たところがあります。どういうことかと言うと…」「あー、なあんだ、そういうことか。わかったぞ。つまり、玉入れの時は、玉入れの難しさを考慮して、玉を1個入れた時の得点をA地区とB地区で変えたでしょ。それと同じで、テストAに出題された問題の難しさと、テストBに出題された問題の難しさを考慮して、問題が1問正答した時の配点を変えればいい。ただ、さっきは、テストAは4点でテストBは5点と、エイッ、ヤッ、と決めたけど、そんな適当な方法じゃなくて、IRTというやつでキチンと決める。つまり、そういうことね。なーんだ、簡単じゃん。」「すると、先生は、その本を読んだんだから、IRTってやつで、さっさと、テストAとテストBに対応する便利な『学力の得点表』を作っちゃってよ。ねえ、皆さん。」そうだ、そうだ、と全員賛成。

「いやあ、それが、そんなに簡単じゃないんですよ。まず、テストAとテストBをIRTに基づいて分析して、それぞれのテストに出題された項目、アッ、問題のことですね、その『特性』を、この特性を『項目特性』といいますが、その特性を手に入れるというか、分析して明らかにするというか、そういうことから始める必要があるんです。」「えーっ、何?さっぱり、意味わからん。問題の特性というなら、それは問題の『難しさ』のことですか。問題の『難しさ』だったら、正答率のことでしょ。そんなの、今でもやってますよ。」「そうですね、『項目特性』には、問題の『難しさ』、エーッ、項目の『困難度』といいますが、『難しさ』も含まれますが、正答率とは違うんですよ。」「ヘーッ、違うんだ。それじゃあ、どう違うのか、説明してよ。」「ウーン、困ったなあ。そうだ、エーッと、何ページだったけ。この本には、索引がないから困るんだよな。あった、あった。『項目特性』とはですね、ほら、ここにあるように、『ある項目の項目特性とは、学力の違いに応じて、その項目に正答できる確率、つまり、正答確率がどのような値になるか』ということで、その様子を図で表すと、こんな感じの曲線(*1)になるという訳です。しかも、この曲線を表す式(*2)があって、それがこれです。」

(*1)こんな感じの曲線のことを「項目特性曲線」といいます。下はその例です(IRT入門、p. 69より引用)。

項目特性曲線の例(*2)「項目特性曲線」を表す式は次の通りです。なお、分母のexpの後にある「1.7」は定数であり、「1.0」とする場合もあります。

「先生、申し訳ないけど、話がどんどん分からなくなってますよ。何を言ってるのか、さっぱりわかりません。テストに出題する問題を作ったら、それぞれの問題の配点を決めるんでしょ。そして、テストを実施して、解けたか、解けなかったかの事実に基づいて、生徒の点数を求めるわけで、何で、正答できるかの確率なんかが、必要なんですか。このIRTとやらですが、これって大丈夫ですか。徒に物事を複雑にしてませんか。何となくあやしいから、入試改革からも外されたんじゃないですか。」「先生、申し訳ないですけど、この話はやめましょうよ。残念ながら、時間の無駄でしたね。」

「でも、ですね、それが、その、ですね…、IRTはTOEFLやPISAなんかにも使われているんですけど…。TOEFLやPISAですよ。だから、決して、あやしいものじゃないと思いますけど…。国もPISAの結果を気にしているんで、IRTのこともそれなりに信じてるんじゃないでしょうか。」「いずれにしても、IRTってやつは欧米のものですね。おそらく、日本じゃあ、無理でしょう。受け入れられるとは思えません。わけのわからん話だから、国内ではIRTなんか使っているテストはありませんよ。聞いたことないですから。」「実は、ありまして…、国内の医学部や歯学部などで臨床実習に入る前の試験(*3)なんかで使われています。確かに、IRTを使ったテストの数は少ないですが、これから増えていくかもしれません。」

(*3)「共用試験」といい、医学系・歯学系(2005年~)以外にも、薬学系(2010年~)や獣医学系(2017年~)でも、IRTを用いて実施されています。

「できるとしても、おそらく大きな組織だからできるんでしょう。お金も、時間も、手間もかかるんじゃないですか。ウチのような、お金のない自治体じゃ無理ですよ、きっと。そうなんじゃないですか、先生。」「確かに、この本には、IRTを使うと、従来のテストよりもお金がかかると、書いてあったと思います。えーっと、そうそう、ここに書いてあります。」「うーん、なになに、何が必要かというと、テスト測定の専門家、専用ソフト、データベース、それから、テストの開発費…。こりゃあ、大変だ。ウチじゃあ、無理、無理。やめましょう、こんな話。」「そうそう、やめましょう。テストAの方が易しいの何のといった話も、もういいですよ。これまで通りで良いですよ。何かやろうといっても、お金はないし、時間はないし、それに、人材もいない。そのうち、もう少し、IRTが日本にも広まれば、誰か教えてくれるでしょう。広まらなければ、それはそれですよ。」

すると、ここまで黙って皆の話を聞いていた『あの先生』が、音量10倍で、耳をふさぎたくなるほどの大声で話し始めました。「お前ら、なーに、言ってんだ。この先生がIRTを紹介してくれたんだぞ。それにだな、いいか、この本を書いたやつは、予備校出だ。本の最後の紹介を見ると、こいつのいた予備校でもIRTを使ったテストを開発した、とある。予備校でもできることだ。何で、俺たちの県じゃあ、できないんだ。少なくとも、何で、できない、と今ここで決めつけるんだ、あー。」「じゃあ、一体、どうなさるおつもりで?」「そんな言い方はやめろ。IRTがわからないなら、この本を書いたやつをここに呼んで、話を聞けばいいだろォー。こいつが社長をやってる会社、ハピ何とかに問い合わせりゃあ、いいんだよ。それから、ただ座って話を聞くだけじゃダメだ。」「じゃあ、歌でも歌いますか?」

「バカ。ふざけるな。俺たちは俺たちで勉強しておくんだ。こういうことは、若いやつが良い。30歳半ばまでだな。先生と、先生と、それから、先生だ。そして、先生は言いだしっぺだから、お願いするぞ。」と、『あの先生』が少し穏やかに言いました。「俺たちは何をするんですか。こう見えても、忙しいんですよ。」「このメンバーで、この本を買う。自前で買うんだぞ。そして、この本を使ってIRT勉強会をやる。ただ、読んで集まっても仕方ないから、お前ら若いのと、言いだしっぺの先生が事前に読み込んで、メンバーに説明する。よくわからないところは、皆で知恵を出し合う。それでもわからんところは、こいつを呼んだ時に重点的に聞くんだ。大事な事は、『俺たちはIRTを使えるか』だ。もしも、無理ということになったら、『こいつの会社に何をどこまで頼めるのか』だ。そもそも、こいつの会社が信用できるのかも、会ってみなけりゃあ、わからない。」と、音量は5倍。

「まったく、強引だな、先生は。でもわかりましたよ、やりますよ。」「はいはい。嫌といえる雰囲気じゃないですもんね。」「仕方ない。私もやります。」そして、少し、間があって、言いだしっぺ先生も同意しました。「それじゃあ、勉強会の事務局は、これまで通り、検討委員会の事務局にお願いします。」「みんな、すぐに、本を買うんだぞ。しっかり勉強して来いよ、いいな。それから、今回のテストの得点のことは、これ以上議論しない。そのかわり、IRTの勉強だ。これで、いいな!」

皆さん、異論はないようです。こうして、『あの先生』のしめの言葉で、検討会はお開きとなりました。
さて、この後どうなるのでしょうか…?