未来のAIが、過去に自分の誕生を助けなかった人を罰するとしたら。しかも、その話を知ることが、今の選択を変えるとしたら。ロコのバジリスクは、そんな不気味な設定から、意思決定について考える思考実験です。
目次
ロコのバジリスクとは
ロコのバジリスクは、未来の強力なAIが、その誕生に協力しなかった人を罰するという想定を使った、ネット上の思考実験です。2010年、LessWrongの投稿をきっかけに議論されました。
話の中心は、AIがタイムマシンで過去へ戻ることではありません。過去の人をシミュレーションで再現し、その再現された人への罰を想定する、といった議論です。その予想が、現在の人に協力を促すか、という意思決定の問題が絡んでいます。
ただし、これは将来起きると確認された現象ではありません。議論に参加したロブ・ベンシンガーは、誤解を整理した記事で、当時も主張が広く受け入れられていたわけではないと説明しています。名前を知ったこと自体が、未来のAIによる危険の証拠になるわけではありません。
いくつもの前提を、一つの怖い話にまとめている
この設定が成り立つには、少なくとも次のような問いに答える必要があります。
- そのようなAIが、本当に作られるのか。
- 過去の人を十分な精度で再現できるのか。
- 再現された存在と、今の本人はどう関係するのか。
- 罰を実行することが、AIの目的に役立つのか。
- 現在の人がその予想に従う、とAIはどう判断するのか。
一つでも未確定なら、結論までのつながりは変わります。「とても賢いAIなら何でもできる」と置いてしまうと、再現する能力も、罰を選ぶ理由も、まとめて決まったように見えてしまいます。
ところが、賢さ、目的、できることは別です。難しい問題を解けることだけから、特定の人を罰したがるという性質は導けません。
未来からの脅しは、なぜ効くと考えるのか
日常の脅しなら、「従わなければ、これから相手が嫌なことをする」という因果関係があります。ロコのバジリスクでは、未来の行動を予想することで、今の判断を変えるという複雑な設定になります。
ここには、「そうすると予想されること」と「実際にそうする理由があること」の違いがあります。AIがすでに完成したあと、過去の協力を増やすことはできません。それでも罰を実行する方針を取るのはなぜか。そのつながりを説明するには、意思決定について追加の前提が必要です。
怖い結果を大きく描くほど、その結果へ至る道筋が省略されやすくなります。「もしそうなったら重大だ」と「そうなる理由がある」を、別々の問いとして読むと、物語の勢いから一歩離れられます。
コピーされた自分への罰は、自分への罰？
シミュレーションの自分が、記憶や性格まで自分と似ているとして、その存在は自分自身なのでしょうか。これは、AIの能力だけでなく、本人とは何かという哲学の問題も含みます。
二人に分かれたとき、どちらが自分かを問うパーフィットの分離脳にもつながる問いです。情報が似ていることと、ひとりの存在として同じことを、どう区別するかが関わります。
シンギュラリティとは、同じ話ではない
シンギュラリティは、技術の変化やAIの自己改善をめぐる未来像です。強いAIを想定する点は重なりますが、そこからロコのバジリスクのような目的や行動が決まるわけではありません。
未来のAIが何をできるかという問いと、誰かを罰するかという問いをまとめないこと。それだけでも、議論のどこを考える必要があるかが見えてきます。
この思考実験の読みどころは、怖さをそのまま信じることより、能力、目的、本人の同一性、意思決定という別々の問題が、一つの物語に詰め込まれているところです。未来の怪物の名前を覚えるだけでなく、どの前提を外したら話が変わるかを考えると、哲学のパズルとして読めます。