そういう思考実験は既にあるよ
人間と完全に同等もしくは人間以上のAIが完成したら人、間にできてそのAIに出来ないことはないから指数関数的にAIの性能向上させてしまうからそのAIがなんらかのエラーで人間に牙向いたら人類詰むやんけみたいな想定