絶対に間違わないAIを、私たちは本当に求めているのか

絶対に間違わないAI。絶対に事故らない自動運転。

なぜ私たちは、不確実な世界に対してだけ、AIに完全保証を求めたくなるのだろう。

---

ヒュームが残した問題

18世紀の哲学者デイヴィッド・ヒュームは、こんな問題を残した。

「これまでそうだった」ことと、「これからも必ずそうなる」ことは、同じではない。

私たちは反復から期待を作れる。しかし未来を完全には証明できない。これをヒュームの帰納の問題（Problem of Induction）という。

難しく聞こえるが、具体例にすると腑に落ちる。

農場で育てられた七面鳥は、毎朝9時に餌をもらう。1日目も、2日目も、100日目も、ずっとそうだった。七面鳥は学習する——「9時になれば餌が来る」と。そして感謝祭の前日、9時になった。手に持つものが、違った。

七面鳥は正しく学習した。ただ、その学習が通じない状況が来たことを、事前には知りようがなかった。

---

AIも同じ構造の上に立っている

高精度のAIは、膨大な過去データから正しいパターンを学んでいる。その精度は本物だ。しかし、過去の正答率は未来の正しさを保証しない。

問題は「いつもと違う」ときに、止まれるかどうかだ。

止まれなければ、精度は高いまま崖に落ちる。自動運転が想定外の状況で誤作動するのも、AIが学習分布の外に出たときに自信満々で間違えるのも、この構造から来ている。

精度を上げることは大切だ。でもそれだけでは足りない。帰納の問題は、どれだけ精度を上げても消えない。

---

必要なのは「止まれる設計」

無謬のAIを夢見るより、間違い得ることを前提に設計する方が、現実への誠実さだと思う。

具体的には、保留・停止・再開条件を持てる設計だ。「わからない」「判断根拠が不足している」という状態を認識し、そこで止まれること。止まった理由を記録し、人間が確認した上で再開できること。

完全な知性より、止まれる制度。これがAIガバナンスの出発点だと、私は考えている。

次回は、私たちが「知性」という言葉をどう使い、どこでゴールポストを動かしてきたかを見る。