前回、AIが子どもの算数の正誤を9問すべて的中させた話を書いた。
開成2011年の入試問題である。
過去の演習記録から子どもの思考特性を分析し、どの問題を解けて、どの問題を間違えるかまで的中。
いやはや、たいしたものだ。
などと感心している場合ではない。
自分の子どものことを、AIの方がよく分かっている。そんな時代が来るのだろうか。
そこで前回、こんなことを書いた。
「むしろ今は、一度壊れてくれた方が安心する。」
幸か不幸か、その機会は早々に訪れた。
また当たった。と思った。
今回は開成2010年の算数。
AIの予測を事前に固定し、子どもには知らせない。60分間の実戦が終わってから答え合わせをする。
AIの予測は9問中7問正解。
実際も9問中7問正解。
おお、また当たった。
ところが、問題ごとの正誤を比べると、少々具合が悪い。
| 問題 | AI予測 | 実際 |
|---|---|---|
| 1(3) | ○ | × |
| 2(4) | × | ○ |
| 3(2) | × | × |
| その他6問 | ○ | ○ |
失点すると予測した2問のうち、当たったのは1問。
過大評価と過小評価が相殺され、正答数だけが一致したのである。
そもそも、正答率の高い子どもの予測というのは、少々インチキが利く。
正答率80%なら、全部○と予測するだけで、問題ごとの的中率は80%。
今回も全問○と予測すれば7問的中。AIと同じである。
もちろん、前回のように正答数まで一致すれば別の話だし、9問だけでモデルの優劣は決められない。
とはいえ、成功談には少々疑問符がついた。
子どもはAIの想定どおりには解かない
感想戦をすると、さらに面白いことが分かった。
AIが難しいと判断した2(4)。図形の表裏や重なりを扱う問題である。
複数の状態を頭の中で管理するのは難しい、とAIは考えた。
ところが子どもは、前の小問の図に書き込んで、あっさり正解していた。
頭の中で管理する？
いや、紙に書けばいいじゃないか。
一方、AIが解けると判断した1(3)。
こちらは、数の条件を整理する問題だったが、子どもは「12の倍数」という条件を勝手に作ってしまった。
根拠はない。計算しやすそうだったから、ということらしい。
その結果、正解候補を取りこぼした。
難しい問題は、自分で簡単にした。
簡単な問題は、自分で難しくした。
まったく、人間とは厄介なものである。
ちなみに、こうした根拠のない思い込みは以前からの課題だった。
AIも知らなかったわけではない。
それでも予測できなかった。
弱点を知っているのに制御できない子どもと、知っているのに予測できないAI。
何とも似た者同士ではないか。
さて、どうするか。
どうやらAIは、子どもがどんな解法を使えるかは分析できても、本番でどの解法を選ぶかまでは読み切れていなかったらしい。
しかも今回は予測内容を本人に知らせていない。
AIの予測を覆そうとしたわけでもない。単に、AIの想定とは違う解き方をしたのである。
予測モデルには、まだ改良の余地がある。
もっとも、生活AI研究所としては、予測を当てること自体が目的ではない。
できれば失点を減らしたい。
AIが「ここで間違える」と見事に予測して、本当に間違えてしまったら、研究としては成功でも、親としては困りものである。
だから、次は解法の選択や思い込み、途中での自己修正も観測していく。
開成2011年では9問すべての正誤予測が的中。
2010年では正答数だけが一致。
どうやら、AIが子どもの未来を何でもお見通しというわけではなさそうだ。
なんだ、そんなものか。
ちょっと安心した。
もっとも、このときは、モデルを少し修正すれば何とかなると思っていた。
まだ、そう思っていたのである。
コメント