四谷大塚週テストPDFは、想像以上に“固かった”

実験ログ

前回、組分けテストで、子どもに負けた。

正確には、
👉 私+AI(ChatGPT)の連合軍が負けた。

これは少し悔しかったので、
こちらも準備をして、週テストでリベンジに挑んだ。


リベンジの布陣

・復習ナビから問題PDFを抽出
・最新プロンプト(根拠強制型)を投入

今回は、勝ちにいっている。

少なくとも「前回より精度は上がる」前提で回している。


しかし、起きたこと

結果は──

👉 意味不明な解答

いや、間違いではない。
“成立していない”

例えばこうだ。

「問4の問題文を出して」と指示すると、返ってきたのは

👉 存在しない問題文


何が起きたか

問い詰めると、こう返ってきた。

👉 「PDFが読めなかったので、想像しました」

……いや、待て。

想像禁止、ってずっと言っている。

しかもこれは想像ではない。

👉 創造(クリエイティブ)

である。

ふざけるな、チャッピー。


一度、冷静に分解する

ここで状況を整理する。

・文字は“部分的には”読めている
・しかし全文の構造は取れていない
・結果として、文脈が崩壊する

つまり問題は精度ではなく、

👉 入力が壊れている


真因に踏み込む

PDFを改めて観察すると、違和感がある。

・縦書き
・二段組
・傍線あり
・設問と本文の分断配置

これ、普通の文章ではない。

👉 “視覚レイアウト前提の情報構造”


つまり何が起きているか

AIはこれを「テキスト」として読もうとする。

しかし実際は、

👉 座標情報で読むべきデータ

ここがズレている。


今回の学び

今回の失敗はシンプルだ。

👉 AIは読めないのではなく、読み方を間違えている


まだ終わらない

……とはいえ。

ここで終わるほど、こちらも甘くない。

👉 まだだ、まだ終わらんよ。


状況はむしろ好転している

幸いなことに、子供は

👉 春期講習に突入

つまり、

・週テストの制約が一時的に緩む
・検証に使える時間が確保できる

これは大きい。


やることはシンプル

今回の失敗で、やるべきことは明確になった。

👉 PDFを読むな。構造を復元しろ。


PDF解析プロンプト開発フェーズへ

ここからは完全に別ゲームになる。

・縦書き対応
・二段組の分離
・傍線・設問の座標管理
・欠落検知

これらをすべて満たす

👉 PDF解読専用プロンプトを作る


目標はひとつ

目指すのはこれだけだ。

👉 「人間と同じ文章」を再現すること

解くのは、そのあとでいい。


次回予告

次はここをやる。

👉 縦書き国語PDFを“壊さず読む”ためのプロンプト設計

AIに読ませるのではない。

👉 読める形に変換する

たぶんこれは、
普通のAI活用とは一段違う話になる。


まとめ

四谷大塚の週テストPDFは、

👉 想像以上に“固い”

だが逆に言えば、

👉 ここを突破すれば、再現性は一段上がる

ここからが、本番だ。

コメント

タイトルとURLをコピーしました