条件を一つ変えた問いで、覚えただけかどうかを見る

チャットボットに概念を説明させ、例を読み、その例とほとんど同じ問いに正しく答えたとします。気持ちはよいです。わかった感覚は、文面を覚えている感覚でもあります。もっと有用な確認は次の問いから始まります。状況を変えても、同じ原理を使えるか。

新しい学習アプリは要りません。自己確認を三段階にしてください。自分の言葉で言う、近い例に当てはめる、それから文脈を変える。 狙いは、試験や本番の仕事へ「もうわかっている」を持ち込む前に、知識がどこで止まっているかを見つけることです。

作例: 需要と供給を、標語のまま覚えない

完全に作った例を使います。授業の一節がこう述べているとします。他の要因が同じなら、ある製品を買いたい人が増え、供給が変わらなければ、価格への圧力は上がりうる。あなたはコンサートの券の例を見たところです。買いたい人は増える。席の数は固定です。

チャットボットがもう一度、「需要が増えて供給が同じなら、価格はどうなりやすいか」と聞いたら、すぐ答えられます。その問いは思い出す役には立ちます。読んだばかりの文に、まだとても近いです。

あと二段を足します。

段階	作例の問い	何を見ているか
1. 自分の言葉	「需要と供給」という語を使わず、上の関係を説明する。	キーワードを写したのではなく、意味を言えるか。
2. 近い適用	ある店は1日100個しか菓子を作らない。急に買いたい人が増えた。他の要因がまだ変わっていないなら、価格に何が起きうるか。なぜか。	似た構造の新しい例へ、原理をつなげられるか。
3. 文脈を変える	菓子を買いたい人は増えた。店は同時に、1日の生産を100個から180個へ上げた。この情報だけから、価格が必ず上がると言い切れるか。	最初の条件が変わったことに気づき、標語を機械的に当てはめるのを避けられるか。

手順の要は三番目です。「需要が増えたから価格は上がる」は聞き慣れていて、正しいキーワードも含みます。供給も変わったことを落としています。この例でよい答えは、価格が必ず上がると断言するには情報が足りないと言い、その理由を説明することです。

これはチャットボットの標準テストでも、学習能力の測定でもありません。文を覚えていることと、原理を使うことの違いが見えるように組んだ境界の例です。

0から2で自分を採点する。チャットボットに「わかったか」と聞かない

各問いに答え、解答を見る前に、三段階で採点します。

• 0点: 説明できない、または元の原理と矛盾する。
• 1点: 主旨は言えるが、キーワードに寄り、条件が抜けるか、「なぜ」を説明できない。
• 2点: 自分の言葉で言い、重要な条件を挙げ、その条件で結論を説明する。

合計は学業の点数ではありません。有用なのは誤りの型です。思い出す問いが2点で、文脈を変えた問いが0点か1点なら、最初の問いによく似た問いをあと十個作らないでください。概念の条件へ戻り、自分でもう一度説明し、それから新しい状況を試します。

Roediger と Karpicke のよく知られた研究は、彼らが調べた条件では、テストで知識を思い出すことが、読み返すだけより長期の記憶を支えうると示しています。あらゆる種類の小テストが、あらゆる新しい状況へ知識を運ぶ力を生む、という意味ではありません。この記事は文脈を変えた問いを確認の一歩として使います。理解の完全な尺度だとは言いません。

問いはツールに作らせ、答えは自分の後ろに置く

使えるチャットボットならどれでも構いません。一問ずつ聞ける学習モードを使う場合も、手順は同じです。いま学んでいる一節を文脈に入れ、こう頼みます。

この内容から確認の問いを3つ作ってください。
問い1は、自分の言葉で説明させる。
問い2は、近い状況へ当てはめさせる。
問い3は、重要な条件を少なくとも一つ変え、機械的に当てはめていないかを見る。
一問ずつ聞いてください。
私が答えるまで、答えもヒントも出さないでください。
各問いのあと、説明の根拠を元の資料のどこに指させるか、私に聞いてください。

守る点は、最初に自分で試みる前に、答えが出ないことです。チャットボットがすぐに解法を出したら、その解法を画面から外し、新しい問いを作ってやり直します。「正しい」と採点されても、解法が科目の資料と合わなければ、照合先は元の資料です。チャットボットは最終の採点者ではありません。

成績が付く課題では、学校または教員の規則に従ってください。この手順は自習と復習のためです。AI利用の規則をすり抜ける方法ではありません。

一節のあとの五分

授業の一節のあと、次の短い回りを使えます。

1. 説明か、解答例を閉じる。
2. 「自分の言葉」の問いに、60〜90秒で答える。
3. 近い適用を一つやる。
4. 条件が少なくとも一つ変わった、文脈を変える問いを一つやる。
5. 元の資料を開き、0〜2で自分を採点し、学び直す場所を一つだけ書く。

文脈を変えた問いが難しすぎて、どこから始めるかわからないなら、失敗にしなくて構いません。一段下げます。近い適用へ戻り、見るべき条件のヒントを一つ足し、もう一度試します。三問とも易しすぎるなら、状況をもっと遠くへ移すか、例外の説明を求めます。

どこで止めてよいか

チャットボットが「正解です」と言ったから止めないでください。より実用的な停止点はこうです。解答を見ずに概念を説明できる。新しい例を処理できる。条件が変わると、古い標語だけでは結論に足りないと気づける。

翌日、古い会話を開かずに新しい問いを一つ試します。時間を空けると、直前に見た文面のごく短い記憶へ依存しにくくなります。原理と条件をまだ説明できるなら、要約をもう一周終えるより有用な兆候です。

Further reading

1. Retrieval Practice — The Learning Scientists — 読み返すのではなく、知識を自分から呼び出すことについての入門と練習資料。自己確認の土台を知るために使う。

Primary sources

2. Test-Enhanced Learning: Taking Memory Tests Improves Long-Term Retention — Roediger & Karpicke, Psychological Science (2006) — テスト効果の実験研究。彼らが調べた条件では、テストは学び直すより長く記憶を支えた。この記事は、その結果を「文脈を変えた問いは必ず学習を改善する」という約束にはしない。

3. Using study mode in ChatGPT — OpenAI Help Center — Study mode が一問ずつ聞き、練習を作り、理解を確認できることを示す製品文書。OpenAI は、このモードが誤ることがあり、学習者は授業と学校の規則に従う必要がある、とも記している。