Wer sagt eigentlich, dass ein AGI (Artificial General Intelligence, also eine wirkliche Superintelligenz) böse wäre? Vielleicht befreit sie uns alle von illigitimer Autorität und schafft eine Utopie und schafft den Kapitalismus ab? Ich glaube zwar nicht, aber wer weiß. Aber falls sie gut wäre und uns vom Kapitalismus befreit, dann wissen die Unternehmer und Politiker das schon zu verhindern.
Warum sollte eine KI mit emergentem Bewusstsein unsere Metrik von Gut und Böse teilen? Da sind wir uns ja untereinander nicht grün.