Why, if you press "thumbs up" when humans think that things went right or "thumbs down" when another AI system thinks that they went wrong, you do not get a mind that wants nice things in a way that generalizes well outside the training distribution to where the AI is smarter than the trainers.
¿Por qué si pulsas “pulgares arriba” cuando los humanos piensan que las cosas han ido bien o “pulgares abajo” cuando otro sistema de IA piensa que fueron mal no consigues una mente que quiera cosas buenas de forma que se generalice bien fuera de la distribución de entrenamiento hasta donde la IA es más inteligente que los entrenadores?