Nei dieci anni seguenti, la sua famiglia si spostò nel sud della Spagna tentando di sfuggire la conquista almohade ma finì per fermarsi, nel 1160, a Fès nell'odierno Marocco (anch'esso sotto il controllo almohade), dove riuscì a farsi passare per musulmana, finché - anche a causa della crescente popolarità dell'ingegno di Moshe - non vennero scoperti.