ELEC同友会英語研究学会研究活動⑥
(評価研究部会より)
中村隆(明治学院高等学校非常勤講師)
はじめに
本研究部会が2020年に行った,大学入学共通テスト試行調査(プレテスト),リスニングに関するリサーチをご紹介する。新学習指導要領(中学2021~,高校2022~実施)の①知識・技能,②思考力・判断力・表現力,③主体的に学習に取り組む態度,という新観点の中で,特に「思考力・判断力・表現力」を測定するテストとはどのようなものになっていくのかという現場教員の関心は高い。
2021年から実施の大学入学共通テストは「思考力・判断力・表現力」を重視した設計となるという。2020年時点は共通テスト実施前のため,大学入試センター(以下,DNC)が2017年,2018年に全国の希望校を対象にして実施した「試行調査」をリサーチ対象にした。また,生徒はリスニングに苦手意識を持つ者が多いことから,2回の試行調査問題から15項目を抽出して追実験を行った。
1 試行調査の概要
2回の試行調査結果の概要は以下の通りである。なお,DNCでは「平均正答率50%を念頭に置く」(2019:6)としている。
【2017(平成29)年度,第1回試行調査リスニング】
Ver. A 正答率平均:45.3%(標準偏差20.7),Ver. B 正答率平均:39.2%(標準偏差22.7)
受検者数:Ver. A 3,132人,Ver. B 3,154人(ともに高2生)
構成:大問数6題,項目数20(Ver. A),項目数30(Ver. B)制限時間各30分
Ø 問題は全て2回読みのVer. A,1回読み2回読み混在のVer. B が用意された。
Ø 対象は高校2年,両バージョンとも平均値50%を下回る。
【2018(平成30)年度,英語第2回試行調査リスニング】
正答率平均:59.1%(標準偏差15.6)
受検者数:12,927人~内訳:高3生10,623人(82.2%),高2生2,304人(17.8%)
構成:大問数6題,項目数37,制限時間30分
Ø 大問3まで(15項目)は2回読み,大問4以降(22項目)は1回読みに統一。
Ø 全体的に平均正答率が60%近くまで改善される。
2 調査方法
DNC資料では全項目の正答率は開示されているが,選択肢ごとの回答分布の開示は限定されているため,問題を抽出して回答分布の再現実験を試みることにした。15項目を抽出して高校2,3年生[1]に調査協力を求めた。調査では,1回読み項目でも2回目を聞かせ,解答用紙には「自信がある・ない」記入欄を設けた。また,テスト後に質問紙調査を行い,スクリプトを見て聞き取りが難しいと感じた部分に下線を引いてもらった。
抽出15項目(音源は約17分)は,①短文理解をイメージの視覚化で測る設問4項目(描写イメージ化),②対話内容から非明示的情報の回答を求める設問2項目(対話内容把握),③一度にいろいろな情報処理が求められるマルチタスク的な設問9項目(1回読みタスク)で,概要を表1にまとめている。DNCによるCEFRレベル設定はA1~B1になる(共通テストと同様)。なお,Appendixに抽出問題,質問紙,放送スクリプトを掲載しているが,詳しくはDNCサイト[2]をご参照いただきたい。
3 調査結果
86名(高3生30名,高2生56名)の調査協力が得られた。ただし,実施時間の制約から「1回読みタスク」9項目のうち最後の5項目を実施できないケースがあったため,最後の5項目の被験者母数は50名になる(図1)。全体としては全国正答率(母数は約0.3~1.3万人)の傾向をほぼ追認する結果と言える。
また,選択肢回答分布を調べて表2の結果を得た。概観すると,前半の「描写イメージ化」,「対話内容把握」では,正解よりも錯乱肢により多くの者がひきつけられている傾向,後半の「1回読みタスク」では,どの選択肢にも散っている傾向が感じられる。
4 解釈
実験結果からは概ね次のことが言える。
Ø 文脈の乏しい短文理解に弱く,聞こえた内容語だけからの推測傾向がある。
Ø 文脈のある対話問題では正答率はやや上がる傾向にある。
Ø 読み上げ回数自体は正答率にさほど影響していない(2018プレA, Bでも観察される傾向)。
Ø 母数の違いに関わらず正答率カーブが似ているということは,高校生学習者のリスニング上の弱点は集団の違いに関わらず,かなり共通している可能性がある。
5.1 カテゴリーごとに見られる傾向
描写イメージ化(4項目):このカテゴリー1つ目の項目(図2)については,DNC開示の回答分布で,選択肢への集中度は②39.8%,③ 31.8%で,正解①16.2%を上回る。本実験での選択肢への集中度も,②41.2%,③30.6%で,正解①20.%を上回っている。しかも母数の違い(12,972名と86名)に関わらず,錯乱肢への分布も非常に近い値が出ているのは注目に値する。
4つ目の項目(図3)は,正答率が全国9.9%と本実験11.6%は近いものの,全国の回答分布が不明であった。本実験の回答分布から,錯乱肢②(少年の方がやや背が高い)を86名中58名(67.4%)が選んでいることが判明した。これはalmostをおそらくaboutと同じように捉えていることが原因と考えられる。
対話内容把握(2項目):このカテゴリー1つ目の項目は正答率全国55.6%,本実験34.9%,2つ目の項目でも全国41.5%,本実験32.6%とやや開きが出ていることが特徴と言える。各選択肢への回答分布は全国については不明だが,本実験ではやはり描写イメージ化カテゴリー同様,錯乱肢に多くひきつけられていることがわかる。
なお,発問形式は1つ目では事後提示(spoken)だが,内容は明示的(遊園地で苦手の乗り物)なのに対して,2つ目では事前提示(written)だが,内容は非明示的(映画に異なる感想を述べあう男女の一致点)となっており,発問を事前・事後提示,内容を明示的・非明示的にするという組み合わせで,正答率調整をしていると考えられる。作問上参考になるだろう。
1回読みタスク(9項目):1回読み前半の4項目は「あなたは旅行代理店の手伝いをしており,ツアー料金の説明からそれぞれの値段を聞きとる」という状況説明が事前に日本語で与えられている問題とである。4つの空所に5つの選択肢が与えられたおり,同じ選択肢の重複使用可,4項目の正答率平均は全国47.8%,本実験48.9%と近かった。後半5項目(図4)は講義ノートテイキングタイプの問題で,5項目の平均正答率全国36.7%,本調査31.6%で本実験(特に高2生)が低かった。
5.2 質問紙調査の分析
質問紙調査から,被験者に自身の回答行動についての振り返りについてカテゴリーごとに概観する。
描写イメージ化(4項目):音のつながりや機能語(弱系)が聞こえないという記述もあったが,強形の内容語が聞こえないという記述も多く,音から瞬時に内容をイメージ化することができないと解釈するのが自然である。また,音を意味に変換できないため,錯乱肢のイラストにミスリードされている可能性も十分に考えられる。
対話内容把握(2項目):質問が事後提示の場合は特にだが,質問が事前提示でも,音声が始まった途端に何が問われるかより,対話の内容追従に手一杯という様子がうかがえる記述が多く見られた。
1回読みタスク(9項目):まず第4問の4項目(ツアー料金の聞き取り)では,特に開始直後の状況説明部分で,実際には,スクリプト68語中最初の25語(37%)は問題指示に日本語で記載されていることとまったく同一なのだが,何をしてよいかわからなかったという混乱の記述が多く見られた。また,「考えすぎた」という感想は,イラスト上にある活動の違いが料金に反映される(実際に料金の決定条件は時間のみ)と予測させるようなレイアウト上の問題も影響していると考えられた。リスニングではリーディングと違って情報保持が難しいため,複数条件を考慮しながらの解答要求は相当に難度が上がると思われる。
第5問の5項目(講義ノートテイキング)では,語彙の対応関係に苦しむ自己分析が見られる一方で,「記号略語にして対応した」,「グラフや常識でわかる」などの記述もあり,講義内容(技術革新の今昔)を二項対立的な枠組を援用して回答しようとする学習者がいることも読み取れた。
なお,実験では被験者に2回目も聞かせ,「自信がある・ない」欄を解答用紙に設けた(データ入力は1回目の解答のみ)が,この欄への記入はほとんど得られなかった。調査側としては,1回目は自信がなかったが2回目に確信できた,というような記入を期待したが,実際にはそうした余裕はないことがわかった。
6 教室活動への示唆
描写イメージ化項目で見られる,have O doneやtoo ~ toなど,何度も教室で扱われるような表現を含む短文を瞬時に理解できないのはなぜかと思われる方も多いだろう。
実はすでに金谷他(2017)に多くのエビデンスが示されている。高1~高3の参加者347名(偏差値64校: 80名,同57校: 139名,同45校: 128名)に対して18問のディクテーションテスト[3](7語程度の単文*4,10語程度の単文*4,7語程度の複文*5,10語程度の複文*5~各2回読みで電子音4秒の後に書き取り)を実施して5段階で採点した結果,5段階中4の「問題文をほぼ完璧に書き取ることができた」以上の評価を得た問題数は1人当たり5.3問に過ぎなった。
これはつまり,多くの学習者が音だけから意味を想起できない状態にある,ということに他ならない。その原因は音と意味を直結するトレーニングの不足ということだが,その背景に高校から教材難度が急速に上がることでインプットに時間がかかり,結果的に学年が上がるごとに音読などインテイクにかける時間が削られている状況が推測される。授業で音声トレーニング方法が示されなければ期待される家庭学習は誘発されず,当然ながら練習していないことはできないという帰結になる。以上のことを踏まえ,本研究部会では教室活動について以下の提案をまとめた。
Ø 「やったはず」は「できるはず」を保証しない(扱ったかどうかとトレーニングは別物)ことを教える側は認識する必要がある。
Ø どの科目でも,例えば英語表現のターゲット文や練習問題文でもディクテーションなどを行い,可能な限り「音声→文字」の順で学習者の気づきを促す。
Ø リスニング教材でも正解確認だけでなくディクテーションまで行い,スクリプトも音読,さらに練習後に同じ音源に戻るような授業構成を考える。
Ø コミュニケーション英語の教科書内容QAでも,教科書とはあえて違う言い替え表現を使って問うことで理解度を確認するようにする。
Ø 中学でもLast Sentence Dictation[4]を「帯活動」に活用可能である。
Ø リスニングに必要な力は多岐にわたる総合力で,入力・出力両方向の継続的な基礎力定着活動(本多2017,本多・閑野2016,参照)が裏支えになる。
なお,竹蓋(1989)によれば,①発話文が平均的には1語長くなるごとに5%弱正答率が下がる,②一度で聞けない教材は繰り返してもそれ以上あまり聞けるようにはならない,③発音の強弱もそれだけでは聞き取りの成功,不成功に大きな影響を与えるとは言えない,④リスナビリティーファクター5要素(文法要素の長さ,文法の種類,内容語,音素,話題)の得点との相関係数で最高は文法要素の長さ(r=.625)ながら,5種のデータそれぞれを正規化してすべて加えあわせたデータと得点の相関(r=.726)にははるかに及ばないことから,ヒアリング[5]は非常に複雑な総合的行動である,など様々なエビデンスが指摘されている。
7 まとめ
本調査で得られた知見は以下のようになる。①高校生学習者は短文の聞き取りが予想以上に弱く,その原因は文脈がなく音像だけが理解の手がかりという状況下では,耳に残る内容語から大胆な予測をする傾向があるためと考えられる。また,②文脈がある対話問題になると正答率はやや上がるものの40~50%の正答率にとどまる。なお,③母数の違いに関わらず正答率カーブ,選択肢への回答分布傾向が似ていることから,高校生学習者のリスニング上の弱点はかなり共通している可能性がある。さらに,④1回読み問題の場合,リスニングポイントに的を絞った聞き方をできるかどうかは,受験者の問題概要の捉え方にかなり依存する面があり,得点上位者の中には汎用的な思考の枠組みを援用して事象を捉えようとする者もいることが観察された。
確かに新学習指導要領導入期には,新たなタームがクローズアップされるものだが,ここで言う例えば「思考力」とはいったいどのような構成概念(construct)を指すのか,実はこうした点について現状では十分議論がされていない。「思考力・判断力・表現力」は一般的な語なだけに,逆に具体的なイメージを共有しにくいとも言える。望ましい方向に向かうために活発な議論が望まれる。
参考文献
金谷憲編著 (2017)『高校生は中学英語を使いこなせるか?』アルク
大学入試センター (2018)「大学入学共通テストの導入に向けた試行調査(プレテスト)(平成30年 2月実施分)の結果報告」
大学入試センター (2019)「大学入学共通テストの導入に向けた試行調査(プレテスト)(平成30年 度(2018年度)実施)の結果報告」
竹蓋幸生 (1989)『ヒアリングの指導システム』研究社出版
本多綾子 (2017) 「熊谷女子高等学校の中学校復習活動「コアラ(コア・ラーニング)」について」
『英語教育』Vol.66_2. pp.32-3 大修館書店
本多綾子,閑野眞理子 (2016) 「負荷を掛けた発展的復習で基礎定着を図る中学英語復習プログラム 「コアラ」とは」『英語の先生応援マガジン2016冬号』pp.8-11 アルク
[1] 対象校3校で調査協力希望者を募り,事前にリサーチの目的を説明し情報守秘を約束した上で,本人及び保護者からの研究協力承諾書を得る手続きを踏んだ。
[3]「英語の先生 応援サイト」(teacher.alc.co.jp)で「中学英語定着テスト」としてダウンロード可能。
[4] 主に復習活動として,前時に扱った教科書などの音源を流し,再生が中断した時点で最後の1文を書き取らせる活動。
[5]センター試験リスニング導入前の1990年代初頭まではリスニングを「ヒアリング」と呼称することが多かった。
(なかむら たかし)
放送スクリプト
(平成29,30年度試行調査 問題、正解等|大学入試センター (dnc.ac.jp)参照)
ELEC同友会英語教育学会 評価研究部会
https://elecfriends.com/testing