If I ask you, "Were you terrified?" you're going to respond to the most powerful word in that sentence, which is "terrified," and the answer is "Yes, I was" or "No, I wasn't."
Si les pregunto, "¿Se asustaron?". Responderán a la palabra más enérgica en esa oración, la cual es "asustarse", y la respuesta sería Sí o No me asusté.