AIに「問題PDFをそのまま投げたらどうなるのか」
AIに問題PDFをそのまま投げたら、どこまで解けるのか。
今回は、あえて“何も工夫しない”状態で試しました。
プロンプトはこれだけです。
👉 この問題を解いて
以上。
なぜこんなことをやるのか
理由はシンプルです。
👉 AIの「素の実力」を見るため
私は普段、仕事でもAIを使っています。
だから正直に言うと、
👉 精度を上げるプロンプトは設計できる
むしろ、そこが仕事です。
ただ今回は、あえてやらない。
👉 “素のAIはどこまでできるのか”
これを見にいきます。
プロンプトを作り込めば、精度はいくらでも上がる。
でもそれは、AIの性能ではない。
👉 人間が補助しているだけ
だから今回だけは、何も足さない。
結果
結論から言うと
👉 普通に戦える
ただし
👉 普通にミスる
実際の挙動
今回の組分けテストではこうなりました。
■物語文（大問3）
👉 AIはかなり優秀
👉 解説も成立する
■説明文（大問4）
👉 グラフ問題でミス
これはなかなか面白いじゃないか。
見えてきたこと
この使い方をすると、AIの性質が露骨に出ます。
■強み
・文章構造を捉える
・それっぽい説明を作る
・一定の精度で当てる
■弱み
・根拠が曖昧になる
・推測が混ざる
・書いていないことを補完する
👉 一言で言うと
雑に強い
ハルシネーションの正体
今回、かなりはっきり見えました。
👉 AIは“埋めにいく”
情報が足りない状態を、そのまま放置できない。
だから補完する。
その結果
👉 存在しないストーリーを作る
これがハルシネーションの正体一つだと思う。
それでも使えるのか？
結論はYESです。
このレベルでも、普通に使えます。
例えば
・子どもの答案の比較
・別解の候補
・思考のヒント
👉 十分、教材になる
ただし問題もある
このままだと厳しい。
・精度がブレる
・毎回安定しない
・無駄な説明が多い
👉 実戦投入には耐えない
ここからが本題
ここまでが
👉 誰でもできる使い方
です。
そしてここからが
👉 差がつく領域
精度を上げる
ハルシネーションを抑える
解答を安定させる
これは全部
👉 プロンプト設計で変わる
まとめ
👉 AIはそのままでも使える
👉 ただし、そのままでは不安定
👉 性能は“使い方”で変わる
次回
👉 同じ問題を「プロンプトあり」で解かせたらどうなるか
ここを検証します。
最後に
AIは魔法じゃない。
👉 だが、使い方を知っている人間は魔法のように使う
コメント