妻から、英検3級のライティング問題を作ってほしいと頼まれた。
リーディングとリスニングは過去問で対応できるが、ライティングには個別解答が欲しい。
当然、指導者の負荷が増える。
そこで、いつものようにチャッピーに任せた。
問題PDFを作る。
親向け解説も付ける。
子どもが手書きし、写真を撮れば、AIが採点する。
問題を作るどころの話ではない。
子どもの答案ごとに、個別の解説まで付く。
頼まれていないところまで作り込む。いつもの斜め上の納品である。
ここまでは、生活AIの美しい話だった。
1問目は正しかった
チャッピーには1問だけ試作を依頼した。
最初の問題PDFは、タイトルが枠からはみ出していた。指摘すると直った。問題文も解答欄も確認した。
使えそうだ。
そこで5問作らせ、妻に納品した。
チャッピーは「全ページ確認しました」と言った。
好評だったらしく、さらに追加が欲しいと言われ、No.6からNo.10も作った。
このとき私は、先に渡したNo.3の不具合をまだ知らなかった。
不具合の情報が戻る前に、生産数だけは倍になった。
チャッピーは追加分も、語数、枠、改行、日本語表示まで確認したという。
実に頼もしい。
6問目は正しかった
追加分を渡した日、子どもがNo.6で止まった。
take の意味が分からないらしかったが、最初の言葉はこうだった。
問題おかしくない？
確認すると、No.6は正しかった。
私は「これは問題の間違いではない」と答えた。
子どもの指摘が間違いだった。
だが、その疑いを生んだのは、チャッピーがNo.3で本当に間違えていたことだった。
No.3を解いた子どもは、出題者も間違えると知っていた。
作った私は、まだその不具合を知らなかった。
3問目は壊れていた
あとからNo.3の不具合を知った。
No.3の問題、メールの差出人は、自分が公園へ行った話を書いていた。
なのに質問は、こうだった。
What did you do at a park?
And who did you go there with?
公園へ行ったのは差出人である。
受け手が公園へ行った話は、どこにもない。
それなのに突然、「あなたは公園で何をしたの」「誰と行ったの」という問題になる。
差出人の体験が、説明もなく受け手の体験にすり替わっていた。
文法だけなら、正しい。
模範解答も作れる。
語数も合う。
ただし、会話は成立していない。
指摘すると、チャッピーはすぐに認めた。原因を説明し、再発防止策も並べた。
事故報告書まで自動生成である。
しかし、その報告書が私によって監査されたことは言うまでもない。
AIを入れたら、仕事が増えた
私は何も確認しなかったわけではない。
1問目を確認した。そこで不具合も見つけた。修正後の1問目は正しかった。
だから、残りも大丈夫だと思った。
確認した範囲と、保証した範囲がずれていた。
当然、仕事なら全問監査する。
今回は家庭用の英検問題だった。だから油断した。
だが、今回の問題はNo.3だけ直せば終わりではない。
残り9問を再監査する。
問題冊子と解説を直す。
PDFを差し替える。
子どもが止まるたびに、知識不足なのか、問題の不具合なのか確認する。
疑われた教材の信用を取り戻さなければならない。
AIのおかげで、問題は速く作れた。
その分、間違いも速く増えた。
仕事なら、誤った資料、その資料を使った判断、連絡先、修正版まで追いかけることになる。
取り戻す工数は、短縮した作業時間を簡単に超える。
今回は生活AIだった。だから家庭内で止まった。
私は仕事なら全問見ていたはずだ。
それでも今回は怠った。
全社員が、いつも全件監査するだろうか。
無理である。
最初の議事録が正しかった。
最初の要約が使えた。
それを、次の案件の品質保証にする人がいないとは言えない。
6問目は正しかった。
3問目は壊れていた。
一番怖いのは、1問目が正しかったことである。
AIを入れたら、仕事が減るはずだった。
なかなか、どうして。
～ 以下後日談 ～
AIの出力をそのまま使うのは危ない。でも、その後も運用を止めたわけではない。
実際の英検3級対策では、QQ Englishや過去問と組み合わせながらAIを使い続けている。
さらに、ライティングについては運用をかなり単純化した。
AIで問題を作り、紙に書き、写真を撮ってAIに採点させる現在のやり方はこちら。
コメント